Wie Programmieranfänger und Code-LLMs einander (fehl-)interpretieren
Author
Venue
CHI 2024
Abstract
Generative KI-Modelle, insbesondere große Sprachmodelle (LLMs), haben große Fortschritte in Richtung des seit langem angestrebten Ziels der Text-zu-Code-Generierung gemacht. Dieser Fortschritt hat zahlreiche Studien zur Benutzerinteraktion angeregt. Weniger bekannt ist jedoch über die Schwierigkeiten und Strategien von Laien, für die jeder Schritt des Text-zu-Code-Prozesses Herausforderungen darstellt: die Beschreibung ihrer Absicht in natürlicher Sprache, die Bewertung der Korrektheit des generierten Codes und die Bearbeitung von Prompts, wenn der generierte Code fehlerhaft ist. Dieser Artikel präsentiert eine groß angelegte kontrollierte Studie darüber, wie 120 Programmieranfänger an drei akademischen Einrichtungen an das Verfassen und Bearbeiten von Prompts herangehen. Ein neuartiges Versuchsdesign ermöglicht es uns, bestimmte Schritte im Text-zu-Code-Prozess gezielt zu untersuchen, und zeigt, dass Anfänger Schwierigkeiten beim Verfassen und Bearbeiten von Eingabeaufforderungen haben, selbst bei Problemen auf ihrem Kompetenzniveau und wenn die Korrektheit automatisch überprüft wird. Unsere Evaluation mit gemischten Methoden liefert Einblicke in die Prozesse und Wahrnehmungen der Studierenden mit wichtigen Implikationen für die Nutzung von Code-LLMs durch Laien innerhalb und außerhalb des Bildungsbereichs.
