Jak początkujący programiści i modele LLM (błędnie) się wzajemnie interpretują
Author
Venue
CHI 2024
Abstract
Generatywne modele sztucznej inteligencji, a konkretnie duże modele językowe (LLM), poczyniły znaczne postępy w kierunku realizacji długofalowego celu, jakim jest generowanie kodu na podstawie tekstu. Postęp ten stał się impulsem do przeprowadzenia licznych badań dotyczących interakcji użytkowników. Niewiele jednak wiadomo na temat trudności i strategii osób niebędących ekspertami, dla których każdy etap procesu przekształcania tekstu w kod stanowi wyzwanie: opisanie swoich intencji w języku naturalnym, ocena poprawności wygenerowanego kodu oraz edycja poleceń, gdy wygenerowany kod jest nieprawidłowy. Niniejszy artykuł przedstawia zakrojone na szeroką skalę, kontrolowane badanie dotyczące podejścia 120 początkujących programistów z trzech instytucji akademickich do pisania i edycji poleceń. Nowatorski projekt eksperymentalny pozwala nam skupić się na konkretnych etapach procesu przekształcania tekstu w kod i pokazuje, że początkujący mają trudności z pisaniem i edytowaniem poleceń, nawet w przypadku problemów na ich poziomie umiejętności i gdy poprawność jest określana automatycznie. Nasza ocena oparta na metodach mieszanych zapewnia wgląd w procesy i postrzeganie studentów, co ma kluczowe implikacje dla korzystania z modeli LLM do kodowania przez osoby niebędące ekspertami w ramach edukacji i poza nią.
