কীভাবে নবীন প্রোগ্রামার এবং কোড এলএলএমগুলো একে অপরকে (ভুলভাবে) পড়ে
Author
Venue
চিআই ২০২৪
Abstract
জেনারেটিভ এআই মডেলগুলো, বিশেষ করে বৃহৎ ভাষামডেল (LLM-গুলো), টেক্সট-টু-কোড জেনারেশনের দীর্ঘদিনের লক্ষ্য অর্জনের পথে উল্লেখযোগ্য অগ্রগতি করেছে। এই অগ্রগতি ব্যবহারকারী ইন্টারঅ্যাকশন নিয়ে অসংখ্য গবেষণাকে আকৃষ্ট করেছে। তবে অ-বিশেষজ্ঞদের সংগ্রাম ও কৌশল সম্পর্কে কম জানা যায়, যাদের জন্য টেক্সট-টু-কোড সমস্যার প্রতিটি ধাপই চ্যালেঞ্জ: প্রাকৃতিক ভাষায় তাদের উদ্দেশ্য বর্ণনা করা, জেনারেট করা কোডের সঠিকতা মূল্যায়ন করা, এবং জেনারেট করা কোড ভুল হলে প্রম্পট সম্পাদনা করা। এই গবেষণাপত্রটি তিনটি একাডেমিক প্রতিষ্ঠানের ১২০ জন নবীন কোডার কীভাবে প্রম্পট লেখার ও সম্পাদনার কাজটি করে তার একটি বৃহৎ-পরিসরের নিয়ন্ত্রিত গবেষণা উপস্থাপন করে। একটি নতুন পরীক্ষামূলক নকশা আমাদেরকে টেক্সট-টু-কোড প্রক্রিয়ার নির্দিষ্ট ধাপগুলোকে লক্ষ্য করতে দেয় এবং এটি প্রকাশ করে যে নবীনরা প্রম্পট লেখার এবং সম্পাদনা করার ক্ষেত্রে সংগ্রাম করে, এমনকি তাদের দক্ষতার স্তরের সমস্যাগুলোর ক্ষেত্রে এবং যখন সঠিকতা স্বয়ংক্রিয়ভাবে নির্ধারিত হয় তখনও। আমাদের মিশ্র-পদ্ধতি মূল্যায়ন ছাত্রদের প্রক্রিয়া এবং ধারণার বিষয়ে অন্তর্দৃষ্টি প্রদান করে, যা শিক্ষা ক্ষেত্রে এবং এর বাইরে অ-বিশেষজ্ঞদের কোড এলএলএম ব্যবহারের জন্য গুরুত্বপূর্ণ প্রভাব ফেলে।
