Yeni Başlayan Programcılar ve Kod LLM'leri Birbirlerini Nasıl (Yanlış) Anlıyor?
Author
Venue
CHI 2024
Abstract
Üretken AI modelleri, özellikle de büyük dil modelleri (LLM'ler), metinden koda dönüştürme konusunda uzun süredir devam eden hedefe doğru önemli adımlar attı. Bu ilerleme, kullanıcı etkileşimi üzerine çok sayıda çalışmanın yapılmasına yol açtı. Ancak, metinden koda dönüştürme sorununun her adımı için zorluklar yaşayan uzman olmayanların yaşadığı zorluklar ve izledikleri stratejiler hakkında çok az şey bilinmektedir: niyetlerini doğal dilde ifade etmek, üretilen kodun doğruluğunu değerlendirmek ve üretilen kod yanlış olduğunda komut satırlarını düzenlemek. Bu makale, üç akademik kurumdan 120 yeni başlayan kodlayıcının komut satırlarını yazma ve düzenleme yaklaşımlarını inceleyen büyük ölçekli bir kontrollü çalışmayı sunmaktadır. Yenilikçi bir deney tasarımı, metinden koda dönüştürme sürecindeki belirli adımları hedeflememize olanak tanır ve yeni başlayanların, kendi beceri düzeylerindeki problemlerde ve doğruluğun otomatik olarak belirlendiği durumlarda bile komut satırlarını yazma ve düzenleme konusunda zorlandıklarını ortaya koyar. Karma yöntemlerle yaptığımız değerlendirme, öğrencilerin süreçleri ve algıları hakkında içgörü sağlar ve eğitim içinde ve dışında uzman olmayanların Code LLM kullanımına ilişkin önemli çıkarımlar sunar.
