MultiPL-E: নিউরাল কোড জেনারেশনের বেঞ্চমার্কিংয়ের জন্য একটি স্কেলযোগ্য ও পলিগ্লট পদ্ধতি

বৃহৎ ভাষামডেলগুলো প্রাকৃতিক ভাষা এবং প্রোগ্রামিং ভাষার টেক্সট উভয়ই তৈরি করার ক্ষমতা প্রদর্শন করেছে। এই ধরনের মডেলগুলো বহু-ভাষিক কোড জেনারেেশনের সম্ভাবনা উন্মোচন করে: কোড জেনারেেশন মডেলগুলো কি এক ভাষার জ্ঞান অন্য ভাষায় সাধারণীকরণ করতে পারবে? যদিও সমসাময়িক কোড জেনারেেশন মডেলগুলো অর্থগতভাবে সঠিক পাইথন কোড তৈরি করতে পারে, অন্যান্য ভাষায় তাদের দক্ষতা সম্পর্কে খুব কমই জানা যায়। আমরা MultiPL-E প্রস্তাব করছি, একটি সিস্টেম যা ইউনিট টেস্ট-চালিত কোড জেনারেেশন বেঞ্চমার্কগুলোকে নতুন ভাষায় অনুবাদ করে। আমরা MultiPL-E ব্যবহার করে দুইটি জনপ্রিয় পাইথন কোড জেনারেটেশন বেঞ্চমার্ককে ১৮টি অতিরিক্ত প্রোগ্রামিং ভাষায় অনুবাদ করে প্রথম ব্যাপক বহুভাষিক কোড জেনারেটেশন বেঞ্চমার্ক তৈরি করেছি।

আমরা HumanEval এবং MBPP বেঞ্চমার্ককে ১৮টি ভাষায় সম্প্রসারণ করতে MultiPL-E ব্যবহার করি, যা বিভিন্ন প্রোগ্রামিং প্যারাডাইম এবং জনপ্রিয়তা অন্তর্ভুক্ত করে। এই নতুন সমান্তরাল বেঞ্চমার্ক ব্যবহার করে, আমরা তিনটি অত্যাধুনিক কোড জেনারেটেশন মডেলের—Codex, CodeGen, এবং InCoder—বহু-ভাষা কর্মক্ষমতা মূল্যায়ন করি। আমরা দেখতে পাই যে Codex বেশ কয়েকটি অন্যান্য ভাষায় Python-এ এর কর্মক্ষমতার সমতুল্য বা এমনকি তা ছাড়িয়ে যায়। MultiPL-E-তে প্রতিনিধিত্বকৃত প্রোগ্রামিং ভাষার বিস্তৃত পরিসর আমাদের ভাষার ফ্রিকোয়েন্সি এবং ভাষাগত বৈশিষ্ট্যগুলির মডেল কর্মক্ষমতার উপর প্রভাব অন্বেষণ করতে দেয়। অবশেষে, নতুন প্রোগ্রামিং ভাষায় কোড জেনারেশন বেঞ্চমার্ক কম্পাইল করার MultiPL-E পদ্ধতিটি স্কেলযোগ্য এবং সম্প্রসারণযোগ্য, যা নতুন মডেল, বেঞ্চমার্ক এবং ভাষা মূল্যায়ন করা সহজ করে তোলে।