தொடக்க நிரலாளர்களும் குறியீட்டு LLM-களும் ஒருவரையொருவர் (தவறாக) எவ்வாறு வாசிக்கின்றன
Author
Venue
சிஐ 2024
Abstract
உருவாக்கும் AI மாதிரிகள், குறிப்பாக பெரிய மொழி மாதிரிகள் (LLMs), உரையிலிருந்து குறியீட்டிற்கான நீண்டகால இலக்கை நோக்கி பெரும் முன்னேற்றம் கண்டுள்ளன. இந்த முன்னேற்றம், பயனர் தொடர்பு குறித்த பல ஆய்வுகளுக்கு வழிவகுத்துள்ளது. இருப்பினும், நிபுணர் அல்லாதவர்களின் போராட்டங்கள் மற்றும் உத்திகளைப் பற்றி குறைவாகவே அறியப்பட்டுள்ளது, அவர்களைப் பொறுத்தவரை உரை-முதல்-கோட் சிக்கலின் ஒவ்வொரு படியிலும் சவால்கள் உள்ளன: இயல்பான மொழியில் தங்கள் நோக்கத்தை விவரித்தல், உருவாக்கப்பட்ட குறியீட்டின் சரியான தன்மையை மதிப்பிடுதல், மற்றும் உருவாக்கப்பட்ட குறியீடு தவறாக இருக்கும்போது வினவல்களைத் திருத்துதல். இந்தக் கட்டுரை, மூன்று கல்வி நிறுவனங்களைச் சேர்ந்த 120 தொடக்க நிலை நிரலாளர்கள், வினவல்களை எழுதுவதையும் திருத்துவதையும் எவ்வாறு அணுகுகிறார்கள் என்பது குறித்த ஒரு பெரிய அளவிலான கட்டுப்படுத்தப்பட்ட ஆய்வை முன்வைக்கிறது. ஒரு புதுமையான சோதனை வடிவமைப்பு, உரை-கோட் செயல்முறையின் குறிப்பிட்ட படிகளைக் குறிவைக்க எங்களை அனுமதிக்கிறது. மேலும், ஆரம்பநிலையாளர்கள் தங்கள் திறன் மட்டத்தில் உள்ள சிக்கல்களுக்குக் கூடவும், சரியான தன்மை தானாகவே தீர்மானிக்கப்படும்போதும் கூட, உரைப்பெட்டிகளை எழுதுவதிலும் திருத்துவதிலும் சிரமப்படுகிறார்கள் என்பதை இது வெளிப்படுத்துகிறது. எங்களின் கலப்பு-முறை மதிப்பீடு, மாணவர்களின் செயல்முறைகள் மற்றும் கருத்துக்கள் பற்றிய நுண்ணறிவை வழங்குகிறது. இது கல்விக்கு உள்ளேயும் வெளியேயும் நிபுணர் அல்லாதவர்களால் கோட் LLM பயன்படுத்தப்படுவதில் முக்கியமான தாக்கங்களைக் கொண்டுள்ளது.
