Bagaimana Pemrogram Pemula dan Model Bahasa Besar (LLM) Saling Salah Memahami Satu Sama Lain
Author
Venue
CHI 2024
Abstract
Model AI generatif, khususnya model bahasa besar (LLM), telah membuat kemajuan menuju tujuan lama dalam pembuatan teks-ke-kode. Kemajuan ini telah memicu banyak penelitian tentang interaksi pengguna. Namun, sedikit yang diketahui tentang kesulitan dan strategi para pemula, bagi siapa setiap langkah dalam masalah teks-ke-kode menghadirkan tantangan: menggambarkan niat mereka dalam bahasa alami, mengevaluasi keakuratan kode yang dihasilkan, dan mengedit prompt saat kode yang dihasilkan salah. Makalah ini menyajikan studi terkontrol berskala besar tentang bagaimana 120 pemula dalam pemrograman di tiga institusi akademik mendekati penulisan dan pengeditan prompt. Desain eksperimental yang inovatif memungkinkan kami menargetkan langkah-langkah spesifik dalam proses teks-ke-kode dan mengungkapkan bahwa pemula mengalami kesulitan dalam menulis dan mengedit prompt, bahkan untuk masalah pada tingkat keterampilan mereka dan ketika kebenaran ditentukan secara otomatis. Evaluasi campuran metode kami memberikan wawasan tentang proses dan persepsi mahasiswa dengan implikasi kunci untuk penggunaan Code LLM oleh non-ahli di dalam dan di luar pendidikan.
