Artificial Intelligence
Programming Languages
Education
初心者のプログラマーとコードLLMが互いを（誤って）読み解く方法
Author
Venue
CHI 2024
Abstract
生成AIモデル、特に大規模言語モデル（LLM）は、長年の目標であるテキストからコードへの生成において大きな進歩を遂げてきた。この進展に伴い、ユーザーインタラクションに関する数多くの研究が行われている。 しかし、非専門家にとって、テキストからコードへの変換という課題の各段階——自然言語で意図を記述すること、生成されたコードの正しさを評価すること、そして生成されたコードが正しくない場合にプロンプトを編集すること——が困難を伴うにもかかわらず、彼らの苦戦や対処法についてはあまり知られていない。本論文では、3つの学術機関に所属する120名の初心者プログラマーが、プロンプトの作成と編集にどのように取り組むかについて、大規模な制御実験を行った結果を報告する。 独自の実験設計により、テキストからコードへの生成プロセスの特定の段階に焦点を当てることが可能となり、初心者は、自身のスキルレベルに合った問題や、正誤が自動的に判定される場合でも、プロンプトの作成や編集に苦労していることが明らかになった。混合手法による評価を通じて、学生のプロセスや認識に関する知見が得られ、教育の内外における非専門家によるコード生成LLMの利用について重要な示唆が得られる。
