Artificial Intelligence
Programming Languages
Education
初学编程者与代码大型语言模型如何（误）读彼此
Author
Venue
CHI 2024
Abstract
生成式人工智能模型，特别是大型语言模型（LLMs），在实现文本转代码这一长期目标方面取得了重大进展。这一进展引发了大量关于用户交互的研究。 然而，对于非专家而言，文本转代码问题的每个步骤都充满挑战——用自然语言描述意图、评估生成的代码是否正确，以及在代码错误时修改提示词——但关于他们面临的困难和应对策略却知之甚少。本文通过一项大规模受控研究，探讨了来自三所高校的120名初学编程者如何撰写和修改提示词。 通过创新的实验设计，我们针对文本转代码流程中的具体步骤进行了深入探究，结果表明：即便面对符合自身技能水平的问题，且代码正确性由系统自动判定，初学者在编写和编辑提示词时仍面临显著困难。本研究的混合方法评估揭示了学生的思维过程与认知认知，为教育领域内外非专家使用代码大语言模型提供了重要启示。
