Come i programmatori alle prime armi e i modelli di linguaggio di grande portata (LLM) si (fraintendono) a vicenda
Author
Venue
CHI 2024
Abstract
I modelli di IA generativa, in particolare i modelli linguistici di grandi dimensioni (LLM), hanno compiuto passi da gigante verso l'obiettivo di lunga data della generazione di codice da testo. Questo progresso ha stimolato numerosi studi sull'interazione con l'utente. Tuttavia, si sa meno delle difficoltà e delle strategie dei non esperti, per i quali ogni fase del processo di conversione da testo a codice presenta delle sfide: descrivere il proprio intento in linguaggio naturale, valutare la correttezza del codice generato e modificare i prompt quando il codice generato è errato. Questo articolo presenta uno studio controllato su larga scala su come 120 programmatori principianti di tre istituzioni accademiche affrontano la scrittura e la modifica dei prompt. Un nuovo disegno sperimentale ci permette di concentrarci su fasi specifiche del processo di conversione da testo a codice e rivela che i principianti hanno difficoltà a scrivere e modificare i prompt, anche per problemi al loro livello di competenza e quando la correttezza viene determinata automaticamente. La nostra valutazione con metodi misti fornisce informazioni sui processi e le percezioni degli studenti con implicazioni chiave per l'uso di Code LLM da parte di non esperti all'interno e all'esterno dell'istruzione.
