Hoe beginnende programmeurs en LLM's elkaar (verkeerd) interpreteren
Author
Venue
CHI 2024
Abstract
Generatieve AI-modellen, met name grote taalmodellen (LLM's), hebben grote vooruitgang geboekt in de richting van het al lang bestaande doel van tekst-naar-code-generatie. Deze vooruitgang heeft geleid tot talrijke studies naar gebruikersinteractie. Er is echter minder bekend over de worstelingen en strategieën van niet-experts, voor wie elke stap van het tekst-naar-code-probleem uitdagingen met zich meebrengt: het beschrijven van hun intentie in natuurlijke taal, het beoordelen van de juistheid van gegenereerde code en het bewerken van prompts wanneer de gegenereerde code onjuist is. Dit artikel presenteert een grootschalig gecontroleerd onderzoek naar hoe 120 beginnende programmeurs van drie academische instellingen het schrijven en bewerken van prompts benaderen. Een nieuw experimenteel ontwerp stelt ons in staat om specifieke stappen in het tekst-naar-code-proces te onderzoeken en laat zien dat beginners moeite hebben met het schrijven en bewerken van prompts, zelfs bij problemen op hun eigen vaardigheidsniveau en wanneer de juistheid automatisch wordt bepaald. Onze evaluatie met gemengde methoden biedt inzicht in de processen en percepties van studenten, met belangrijke implicaties voor het gebruik van Code LLM door niet-experts binnen en buiten het onderwijs.
