Как начинающие программисты и модели большого языка (LLM) (неправильно) понимают друг друга
Author
Venue
CHI 2024
Abstract
Генеративные модели искусственного интеллекта, в частности крупные языковые модели (LLM), добились значительного прогресса в достижении давней цели — генерации кода из текста. Этот прогресс послужил толчком для проведения многочисленных исследований, посвященных взаимодействию пользователей. Однако гораздо меньше известно о трудностях и стратегиях, с которыми сталкиваются пользователи-неспециалисты, для которых каждый этап задачи «текст в код» представляет собой вызов: описание своего замысла на естественном языке, оценка правильности сгенерированного кода и редактирование подсказок в случае, если сгенерированный код оказался некорректным. В данной статье представлено крупномасштабное контролируемое исследование того, как 120 начинающих программистов из трёх учебных заведений подходят к написанию и редактированию подсказок. Новаторский экспериментальный дизайн позволяет нам сосредоточиться на конкретных этапах процесса преобразования текста в код и показывает, что начинающие сталкиваются с трудностями при написании и редактировании подсказок даже в случае задач, соответствующих их уровню подготовки, и даже когда правильность кода определяется автоматически. Наша оценка, основанная на смешанных методах, дает представление о процессах мышления и восприятии студентов, что имеет ключевые последствия для использования моделей большого языка (LLM) для программирования неспециалистами как в рамках образования, так и за его пределами.
