प्रारंभिक प्रोग्रामर आणि कोड एलएलएम एकमेकांना कसे (अयोग्यरित्या) वाचतात
Author
Venue
CHI 2024
Abstract
जेनेरेटिव्ह एआय मॉडेल्स, विशेषतः मोठ्या भाषा मॉडेल्स (एलएलएम), यांनी टेक्स्ट-टू-कोड निर्मितीच्या दीर्घकालीन उद्दिष्टाकडे महत्त्वपूर्ण प्रगती साधली आहे. या प्रगतीमुळे वापरकर्ता संवादावरील अनेक अभ्यासांना आमंत्रित केले आहे. तथापि, गैर-तज्ज्ञांच्या संघर्ष आणि धोरणांबद्दल कमी माहिती आहे, ज्यांच्यासाठी टेक्स्ट-टू-कोड समस्येचा प्रत्येक टप्पा आव्हाने निर्माण करतो: नैसर्गिक भाषेत त्यांचा हेतू वर्णन करणे, तयार केलेल्या कोडची अचूकता मूल्यांकन करणे, आणि तयार केलेला कोड चुकीचा असल्यास प्रॉम्प्ट्स संपादित करणे. हा पेपर तीन शैक्षणिक संस्थांमधील 120 नवशिक्या कोडर कसे प्रॉम्प्ट्स लिहितात आणि संपादित करतात यावर मोठ्या प्रमाणावर नियंत्रित अभ्यास सादर करतो. एक नवीन प्रयोगात्मक रचना आम्हाला टेक्स्ट-टू-कोड प्रक्रियेतील विशिष्ट टप्प्यांवर लक्ष केंद्रित करण्याची परवानगी देते आणि असे उघड करते की नवशिक्यांना प्रॉम्प्ट लिहिण्यात आणि संपादित करण्यात अडचणी येतात, अगदी त्यांच्या कौशल्य पातळीवरील समस्यांसाठी आणि जेव्हा बरोबरपणा स्वयंचलितपणे ठरवला जातो तेव्हाही. आमचे मिश्र-पद्धतीचे मूल्यांकन विद्यार्थ्यांच्या प्रक्रिया आणि धारणा याबद्दल अंतर्दृष्टी प्रदान करते, ज्याचे शिक्षणाच्या आत आणि बाहेर गैर-तज्ज्ञ कोड एलएलएम वापरासाठी महत्त्वपूर्ण परिणाम आहेत.
