Comment les programmeurs débutants et les modèles de langage de grande capacité (LLM) se (mé)comprennent mutuellement
Author
Venue
CHI 2024
Abstract
Les modèles d'IA générative, en particulier les grands modèles linguistiques (LLM), ont fait des progrès considérables vers l'objectif de longue date de la génération de code à partir de texte. Ces avancées ont donné lieu à de nombreuses études sur l'interaction avec les utilisateurs. Cependant, on en sait moins sur les difficultés et les stratégies des non-experts, pour qui chaque étape du processus de conversion de texte en code présente des défis : décrire leur intention en langage naturel, évaluer l'exactitude du code généré et modifier les invites lorsque le code généré est incorrect. Cet article présente une étude contrôlée à grande échelle sur la manière dont 120 codeurs débutants issus de trois établissements universitaires abordent la rédaction et la modification des invites. Une conception expérimentale novatrice nous permet de cibler des étapes spécifiques du processus de conversion de texte en code et révèle que les débutants ont des difficultés à rédiger et à modifier les invites, même pour des problèmes correspondant à leur niveau de compétence et lorsque l'exactitude est déterminée automatiquement. Notre évaluation utilisant des méthodes mixtes fournit un aperçu des processus et des perceptions des étudiants, avec des implications clés pour l'utilisation des LLM de code par des non-experts, tant dans le cadre éducatif qu'en dehors.
