Artificial Intelligence
Programming Languages
Education
초보 프로그래머와 코드 LLM이 서로를 (잘못) 이해하는 방식
Author
Venue
CHI 2024
Abstract
생성형 AI 모델, 특히 대규모 언어 모델(LLM)은 오랫동안 추구되어 온 텍스트-투-코드(text-to-code) 생성이라는 목표에 한 걸음 더 다가섰습니다. 이러한 진전은 사용자 상호작용에 대한 수많은 연구를 촉발했습니다. 그러나 비전문가들의 어려움과 전략에 대해서는 잘 알려져 있지 않은데, 이들에게 텍스트-투-코드 문제의 각 단계는 도전 과제로 다가옵니다. 즉, 자연어로 의도를 설명하고, 생성된 코드의 정확성을 평가하며, 생성된 코드가 잘못되었을 때 프롬프트를 수정하는 과정입니다. 본 논문은 세 개 교육 기관에 소속된 120명의 초보 코더들이 프롬프트를 작성하고 수정하는 방식을 조사한 대규모 통제 실험 결과를 제시합니다. 독창적인 실험 설계를 통해 텍스트-투-코드 과정의 특정 단계를 집중적으로 분석한 결과, 초보자들은 자신의 기술 수준에 맞는 문제이거나 정확성이 자동으로 판정되는 경우에도 프롬프트 작성 및 수정에 어려움을 겪는 것으로 나타났다. 본 연구의 혼합 방법론 평가는 학생들의 사고 과정과 인식을 심층적으로 조명하며, 교육 현장 안팎에서 비전문가가 코드 LLM을 활용할 때 시사하는 중요한 함의를 제공한다.
