Artificial Intelligence
Programming Languages
Education
初學程式設計師與程式語言大型語言模型如何（誤）讀彼此
Author
Venue
CHI 2024
Abstract
生成式人工智慧模型，尤其是大型語言模型（LLMs），在實現「文字轉程式碼」這項長期目標方面已取得重大進展。這項進展也引發了大量關於使用者互動的研究。 然而，針對非專家群體的困境與策略，目前所知甚少。對他們而言，文字轉程式碼問題的每個步驟都充滿挑戰：以自然語言描述意圖、評估生成的程式碼是否正確，以及在程式碼錯誤時編輯提示語。本文透過一項大規模的受控研究，探討來自三所學術機構的 120 名初學程式設計師如何撰寫與編輯提示語。 透過創新的實驗設計，我們得以針對文字轉程式碼流程中的特定步驟進行觀察，並發現初學者在撰寫與編輯提示語時面臨困難，即使面對符合其技能水平的問題，且正確性由系統自動判定時亦然。本研究的混合方法評估深入剖析了學生的處理過程與認知，並為教育場域內外非專家使用程式碼大型語言模型（Code LLM）提供了關鍵啟示。
