রবলোক্স ইঞ্জিনিয়ারদের মতো ভাবতে মডেলগুলোকে শেখিয়ে আমরা কীভাবে AI কোড গ্রহণ দ্বিগুণ করেছি

সবাই পরবর্তী যুগান্তকারী এআই মডেলের জন্য উচ্ছ্বসিত, কিন্তু Roblox-এ অভ্যন্তরীণ এআই টুলগুলোর কার্যকারিতা দ্বিগুণ করার গোপন রহস্য কোনো নতুন মডেল ছিল না। এটি আমাদের কোডবেসের ইতিহাসে নিহিত ছিল। বছরের পর বছর ধরে আমাদের ডোমেইন বিশেষজ্ঞদের কোড এবং রিভিউ কাজে লাগিয়ে, আমরা ১০,০০০টি পুল রিকোয়েস্ট (PR) সেটের মধ্যে AI-উৎপন্ন PR পরামর্শ গ্রহণের হার প্রায় ৩০% থেকে ৬০%-এরও বেশি পর্যন্ত বাড়িয়েছি এবং একই সময়ে একটি এজেন্টিক কোড ক্লিনিং প্রকল্পের মূল্যায়ন সঠিকতা ৯০%-এর উপরে উন্নীত করেছি।

এআই গুণগত ফাঁক বন্ধ করা

শিল্পক্ষেত্রে ৫০% থেকে ৬০% কোডিং সময় সফটওয়্যার রক্ষণাবেক্ষণে ব্যয় হয়।¹ Roblox-ও এর ব্যতিক্রম নয়। 

কাগজে-কলমে, সুস্পষ্ট প্রয়োজনীয়তা এবং সীমিত সমস্যা ক্ষেত্রসহ পুনরাবৃত্তিমূলক রক্ষণাবেক্ষণ কাজগুলো AI স্বয়ংক্রিয়তার জন্য আদর্শ প্রার্থী। বাস্তবে, আমাদের AI সহকারীরা মূল্যায়ন নির্ভুলতা এবং ইঞ্জিনিয়ারিং গ্রহণযোগ্যতা নিয়ে সংগ্রাম করেছে।

Roblox-এ সমস্যাটি সক্ষমতা নয়; এটি প্রসঙ্গ। একটি সাধারণ মডেল Roblox ইঞ্জিনিয়ারিংয়ের দুই দশকের অভিজ্ঞতা অর্জন করেনি। এটি গত তিন বছরে আমরা যে ৭০০,০০০টি পুল রিকোয়েস্ট মर्ज করেছি তা দেখেনি, বা ১.৭ মিলিয়ন কোড রিভিউ মন্তব্য থেকে শেখেনি, যেখানে আমাদের সবচেয়ে অভিজ্ঞ ইঞ্জিনিয়াররা আমাদের কোডিং স্ট্যান্ডার্ড নির্ধারণ ও রক্ষা করেন।

এই ইতিহাস উপেক্ষা করে এমন এআই সহকারীরা বিশ্বমানের ইঞ্জিনিয়ারদের বিশ্বাস অর্জন করতে ব্যর্থ হয়। Roblox-এর অর্ধেক ইঞ্জিনিয়ারই এআই-চালিত সহকারী ব্যবহার করলেও, মানব পর্যালোচনার পর মাত্র প্রায় ২০% এআই-উৎপন্ন পরামর্শই গৃহীত হয়। আমাদের ত্রৈমাসিক ইঞ্জিনিয়ারিং উৎপাদনশীলতা জরিপও এই বাস্তবতাকে প্রতিধ্বনিত করে। ইঞ্জিনিয়াররা উত্পাদনশীলতায় এআইয়ের প্রভাবকে ৫-এর মধ্যে ৪.০২ স্কোর দিয়েছেন, কিন্তু এআই-উত্পন্ন কোডের গুণমানের প্রতি তাদের বিশ্বাস মাত্র ৩.০৯ (৫-এর মধ্যে)। সংক্ষেপে, এআই সাহায্য করে, তবে বিশ্বাস সীমিতই রয়ে গেছে, বিশেষ করে পুরনো C++ এবং আরও জটিল কোড ডোমেইনে।

এই প্রসঙ্গগত ফাঁক পূরণ করতে, আমরা একটি এজেন্টভিত্তিক কোড ইন্টেলিজেন্স প্ল্যাটফর্মে বিনিয়োগ করেছি, যা Roblox-এর নিজস্ব ইঞ্জিনিয়ারিং ইতিহাস, বিশেষজ্ঞদের আদর্শের সাথে সামঞ্জস্যপূর্ণ, এবং কঠোর মূল্যায়নের মাধ্যমে যাচাইকৃত। এই কোড ইন্টেলিজেন্স প্ল্যাটফর্মটি শুধুমাত্র কোড পরামর্শ তৈরি করার জন্য নয়, বরং একজন Roblox ইঞ্জিনিয়ারের প্রতিষ্ঠানগত গভীরতার সাথে পুনরাবৃত্তি করার জন্য ডিজাইন করা হয়েছে।

Roblox ইঞ্জিনিয়ারিং অভিজ্ঞতার সেরা থেকে শেখা

Roblox-এর ইঞ্জিনিয়ারিং কর্পাস প্রায় ২০ বছরের কমিট, ডিজাইন ডকুমেন্ট এবং প্রোডাকশন টেলিমেট্রিতে বিস্তৃত, একটি অনন্য সমৃদ্ধ ডেটাসেট যা ধারণ করে কীভাবে আমাদের সিস্টেমগুলো বিকশিত হয়েছে এবং কীভাবে আমাদের ইঞ্জিনিয়াররা কঠিন সমস্যা সমাধান করেছে।

কোড ইন্টেলিজেন্স প্ল্যাটফর্মের লক্ষ্য সেই ডেটাকে একটি কাঠামোগত জ্ঞান গ্রাফে রূপান্তর করা, যা একটি উল্লেখযোগ্য ইঞ্জিনিয়ারিং চ্যালেঞ্জ। একটি বিশাল পলিগ্লট পরিবেশে, কোড শুধুমাত্র টেক্সট ফাইল নয়। এটি বিল্ড টার্গেট, C++ টেমপ্লেট ইনস্ট্যানশিয়েশন এবং ডায়নামিক Lua নির্ভরতার একটি জটিল জাল। শুধুমাত্র টেক্সট পার্স করা যথেষ্ট নয়; সিস্টেমটিকে কোডবেসের মধ্যেই লুকিয়ে থাকা গভীর সেম্যান্টিক সম্পর্কগুলি বুঝতে হবে, যা আমাদের অনন্য আর্কিটেকচারের জন্য নির্দিষ্ট। 

আরেকটি চ্যালেঞ্জ হলো ট্রেসিং এবং সময়গত সামঞ্জস্য। আন্তঃসংযুক্ত সিস্টেম জুড়ে যৌক্তিক সিদ্ধান্ত নিতে, একটি এজেন্ট-ভিত্তিক সিস্টেমকে স্থির কোড রিপোজিটরিগুলোকে গোলমাল রানিটাইম টেলিম্যাট্রির সাথে সংযুক্ত করতে হবে এবং লক্ষ লক্ষ প্রোডাকশন সিগন্যালকে সেই কোডের সঠিক সংস্করণের সাথে ম্যাপ করতে হবে যা সেগুলো তৈরি করেছে, এমনকি কোডবেস ক্রমাগত বিকশিত হচ্ছে।

এই সমস্যার সমাধানে আমাদের কৌশল হল সংস্করণ নিয়ন্ত্রণ, গ্রাফ নির্মাণ এবং রানটাইম টেলিম্যাট্রিকে একত্রিত করে একটি হাইব্রিড প্রতীকী-ভেক্টর উপস্থাপনা তৈরি করা, যা সিনট্যাক্স, অর্থ এবং সম্পর্কগুলো সংরক্ষণ করে। এর ফলে কোড ইন্টেলিজেন্স প্ল্যাটফর্ম কোডকে সিনিয়র ইঞ্জিনিয়ারদের মতোই বুঝতে পারে: ডিজাইন রেশনেল, ট্রেড-অফ এবং পারফরম্যান্স ডেটার মাধ্যমে গঠিত আন্তঃসংযুক্ত সিস্টেম হিসেবে, বিচ্ছিন্ন টেক্সট ফাইল হিসেবে নয়।

উদাহরণ সামঞ্জস্যের মাধ্যমে বিশেষজ্ঞ সংকেত আহরণ

সত্যিকারের দক্ষতা লুকিয়ে থাকে প্যাটার্ন, রিভিউ মন্তব্য, কমিট ইতিহাস এবং সূক্ষ্ম কোড ইডিয়মে। কোড ইন্টেলিজেন্স এই অন্তর্নিহিত জ্ঞানকে উদাহরণ সামঞ্জস্য ইঞ্জিনের মাধ্যমে উন্মোচন করে, যা ইঞ্জিনিয়ারদের আদর্শ বাস্তবায়নের "সোনা" উদাহরণ বা রিভিউ যুক্তি নির্বাচন করতে দেয়।

আগে, একজন অভিজ্ঞ ইঞ্জিনিয়ার প্রতি সপ্তাহে কয়েক ঘণ্টা PR পর্যালোচনায় ব্যয় করতেন, উচ্চ-ফ্রিকোয়েন্সি লুপের ভিতরে ব্লকিং FetchData কল ব্যবহারের পুনরাবৃত্তি চিহ্নিত করতেন, এমন একটি প্যাটার্ন যা অর্থগতভাবে সঠিক মনে হয় কিন্তু Roblox স্কেলে মারাত্মক বিলম্ব সৃষ্টি করে। যদি বিশেষজ্ঞ শহরে না থাকেন বা কোনো ত্রুটি মিস করেন, তাহলে তার জ্ঞান প্রয়োগ নাও হতে পারে, এবং একটি অ্যান্টি-প্যাটার্ন প্রোডাকশনে ঢুকে আমাদের কমিউনিটির জন্য আউটেজ সৃষ্টি করতে পারে।

অলাইনমেন্ট ইঞ্জিন ব্যবহার করে, সেই ইঞ্জিনিয়ার তাদের বিচক্ষণতাকে একটি প্রাকৃতিক ভাষার আদর্শ উদাহরণে রূপান্তর করতে পারেন। এটি একটি কাঠামোবদ্ধ সংজ্ঞা যা কোডের নিদর্শন (যা "কি") এবং যুক্তি (যা "কেন") একত্রিত করে। এখন, সিস্টেম স্বয়ংক্রিয়ভাবে ব্লকিং কলটি সনাক্ত করে, ফ্ল্যাগ করে, ল্যাটেন্সি ঝুঁকি ব্যাখ্যা করে, এবং অ্যাসিঙ্ক্রোনাস সেরা অনুশীলন সম্পর্কিত অভ্যন্তরীণ ডকুমেন্টেশনের সাথে সরাসরি লিঙ্ক করে:

এটি প্রকৃতপক্ষে একজন প্রকৌশলীর বছরের অভিজ্ঞতা থেকে অর্জিত মূল্যবান জ্ঞানকে এনকোড করে। সিস্টেমটি এককালীন পর্যালোচনা মন্তব্যকে একটি স্থায়ী, স্বয়ংক্রিয় গার্ডরেল-এ রূপান্তরিত করে।

কিন্তু আমাদের বিশেষজ্ঞদেরও অনেক কাজ থাকে, এবং তাদের সমস্ত মূল অন্তর্দৃষ্টি মনে করে লিখে ফেলা করানোটা সর্বোত্তম ক্ষেত্রেও সময়সাপেক্ষ ও তথ্যহ্রাসমূলক একটি প্রক্রিয়া। তাহলে, কীভাবে আমরা তাদের Roblox-এ কর্মরত সময়জুড়ে তাদের সেরা পরামর্শগুলো সংগ্রহ করতে সাহায্য করতে পারি?

এটি ইতিমধ্যেই আছে, তাদের যত্নশীল কোড পর্যালোচনা মন্তব্যে লেখা আছে এবং প্রতিটি PR-এ স্মরণীয় করে রাখা হয়েছে যা প্রোডাকশনে যায়:

আমরা ঐতিহাসিক PR মন্তব্যগুলোকে একটি পাইপলাইনের মাধ্যমে প্রেরণ করি যা Roblox অভিজ্ঞতা থেকে সর্বোচ্চ মূল্যবান থিমগুলো পরিষ্কার করে এবং আহরণ করে। প্রথমে, অপ্রয়োজনীয় মন্তব্য যেমন প্রশংসা বা টাইপো সংশোধন দিয়ে নোইজি ডেটা ভরে থাকে, আর মূল্যবান ফিডব্যাক প্রায়ই সংক্ষিপ্ত রূপে লেখা হয় যা প্রচুর পরিমাণে প্রসঙ্গে নির্ভরশীল। উদাহরণস্বরূপ, "use the new pattern here" ধরনের একটি নোট নির্দিষ্ট ফাইল এবং ডিফ না বুঝলে অর্থহীন। সিস্টেমকে এই নির্দিষ্ট ইন্টার‍্যাকশনগুলোকে পুনর্ব্যবহারযোগ্য, সাধারণীকৃত নিয়মে অনুবাদ করতে হবে।

এই সমস্যার সমাধান করতে, আমরা একটি বহু-পর্যায়ের অ্যালগরিদম ব্যবহার করি যা মানব হস্তক্ষেপ ছাড়াই হাজার হাজার PR জুড়ে পুনরাবৃত্তিমূলক থিম সনাক্ত করে। সিস্টেমটি ঐতিহাসিক মন্তব্যগুলোকে ভেক্টর স্পেসে এম্বেড করে, সম্পর্কিত ফিডব্যাকের আশেপাশের এলাকা খুঁজে পেতে গ্রিডি ক্লাস্টারিং ব্যবহার করে, এবং সেগুলোকে উচ্চ-মূল্যের প্যাটার্নে একত্রিত করতে LLM-নির্দেশিত পরিমার্জন প্রয়োগ করে।

ফলস্বরূপ একটি র‌্যাঙ্ককৃত প্রার্থী উদাহরণ (অথবা শেখা) তালিকা তৈরি হয়, যেখানে তাদের কতবার দেখা গেছে এবং বিভিন্ন পর্যালোচক কতটা ব্যাপকভাবে উল্লেখ করেছেন তার ভিত্তিতে অগ্রাধিকার নির্ধারণ করা হয়, এবং সাথে মূল মন্তব্যগুলির উদ্ধৃতিও থাকে। এরপর আমাদের ডোমেইন বিশেষজ্ঞরা প্রার্থীগুলো পর্যালোচনা করেন, প্রয়োজনে সম্পাদনা করেন, এবং কোনগুলো জ্ঞানভান্ডারে মূল সেরা অনুশীলন হিসেবে প্রচার করা হবে তা নির্ধারণ করেন। এই পাইপলাইনের প্রথম প্রিভিউয়ের পর, রেপোজিটরি লিডরা তাদের প্রিয় বিষয়গুলোকে মূল গার্ডরেল হিসেবে উঠে আসতে দেখে উচ্ছ্বসিত হন এবং অবিলম্বে তাদের রেপোজিটরিগুলোকে বিশ্লেষণের জন্য অন্তর্ভুক্ত করতে চান।   

চূড়ান্ত ধাপ হলো এলাইনমেন্ট এজেন্ট, যা মানব ইঞ্জিনিয়ার এবং AI কোডিং এজেন্ট উভয়কেই সহায়তা করে, সমস্ত পরিবর্তন উদাহরণভিত্তিক জ্ঞানভাণ্ডারের বিরুদ্ধে যাচাই করে। এই নমনীয় মূল্যায়ন সফটওয়্যার উন্নয়ন জীবনচক্রের প্রতিটি ধাপে প্রয়োগ করা যায়: কোডিংয়ের সময়, মার্জের সময়, এবং এমনকি একটি ধারাবাহিক উন্নতি এজেন্টের মাধ্যমে, যা স্বয়ংক্রিয়ভাবে Roblox কোডবেসকে পরিমার্জন করে যখন জ্ঞানভাণ্ডার বৃদ্ধি পায়।  

এই ইন-কনটেক্সট লার্নিং ব্যবহার করে AI-এর আচরণকে Roblox মানদণ্ডের সাথে সংযুক্ত করার মাধ্যমে, আমরা দেখেছি একটি AI কোডিং এজেন্টের গোল্ডেন ইভ্যালুয়েশন ডেটাসেটে পাশের হার ৮৪% থেকে ১০০% এ উন্নীত হয়েছে। আমরা শুধু Roblox AI-কে কোড করতে শেখাচ্ছি না; আমরা আমাদের AI-কে শেখাচ্ছি Roblox ইঞ্জিনিয়াররা কীভাবে চিন্তা করে।

নেতিবাচক সংকেত থেকে শেখা

যদিও আদর্শ সামঞ্জস্য আমাদের কোডবেসের মানের ভিত্তি উল্লেখযোগ্যভাবে বৃদ্ধি করেছে, আমাদের চূড়ান্ত লক্ষ্য হল এমন একটি পর্যায়ে পৌঁছানো যেখানে এআই-প্রস্তাবিত কোডের প্রথম খসড়াটি আমাদের সবচেয়ে অভিজ্ঞ ইঞ্জিনিয়ারদের কাজের মতোই বিশ্বাসযোগ্য হবে। এজন্যই আমরা প্রতিটি প্রত্যাখ্যাত এআই পরামর্শ, ব্যর্থ রিফ্যাক্টর, বা রিগ্রেশন-উদ্ভবকারী মার্জকে একটি উচ্চ-মূল্যের সংকেত হিসেবে ব্যবহার করি যা আমরা সিস্টেমে পুনরায় প্রেরণ করতে পারি। এটি এজেন্টদের জন্য একটি পাইপলাইন তৈরি করে যাতে তারা ক্রমাগত উন্নতি করতে এবং তাদের ভুল থেকে শিখতে পারে।

নেতিবাচক ফলাফলগুলিকে ডোমেইন বিশেষজ্ঞরা বিস্তারিত যুক্তি, চিন্তার শৃঙ্খল এবং ব্যর্থতার অতিরিক্ত প্রেক্ষাপটসহ ফিল্টার ও লেবেল করতে পারেন। এই ডেটা সেম্যান্টিক্যালি এম্বেড এবং পুনরুদ্ধারের জন্য ইনডেক্স করা হয়। যখন আমাদের কোড ইন্টেলিজেন্স প্ল্যাটফর্ম নতুন আউটপুট প্রস্তাব করে, তখন এটি এই ডেটার মধ্য দিয়ে সেম্যান্টিক সার্চ পরিচালনা করে, অতীতের ভুল এবং রিভিউয়ারের প্রতিক্রিয়া স্মরণ করে সেগুলো পুনরাবৃত্তি এড়াতে।

এই বন্ধ প্রতিক্রিয়া লুপ প্রতিটি কোড-রিভিউকে কাঠামোবদ্ধ শেখার ডেটায় রূপান্তরিত করে, বিরোধী এবং সমালোচনা-ভিত্তিক প্রশিক্ষণের মাধ্যমে ভবিষ্যতের এজেন্টের আচরণকে ক্রমাগত পরিমার্জন করে।

একটি মজবুত মূল্যায়ন কাঠামো নির্মাণ

বিশ্বাসযোগ্য, পূর্বানুমেয় আচরণের মাধ্যমে বিশ্বাস গড়ে ওঠে, যা পরিমাপ থেকে শুরু হয়। আমরা সময়ের সাথে সাথে আমাদের এজেন্টদের কর্মক্ষমতা পর্যবেক্ষণের জন্য একটি নিবেদিত মূল্যায়ন ব্যবস্থা ডিজাইন করেছি।

ফ্রেমওয়ার্কটিতে রয়েছে:

• টাস্ক-স্তরের বেঞ্চমার্ক: রিফ্যাক্টরিং, টেস্টিং এবং বাগ-ফিক্স টাস্কের মতো হাজার হাজার Roblox ইঞ্জিনিয়ারিং কার্যক্রমে প্রিসিশন এবং রিকল।
• সিমুলেশন হার্নেস: পুনরুত্পাদনযোগ্য স্কোরিংয়ের জন্য নির্ধারিত ফলাফলসহ সিন্থেটিক PR-সমূহ।
• হিউম্যান-ইন-দ্য-লুপ প্যানেল: AI আউটপুট বনাম গোল্ড-স্ট্যান্ডার্ড বাস্তবায়নের বিশেষজ্ঞ তুলনা।
• এক্সিকিউশন ফ্রেমওয়ার্ক: এজেন্ট উন্নতিগুলো মার্জ করার সময় প্রাসঙ্গিক ইভ্যালুয়েশনগুলো সমান্তরালে চালানো হয় এবং প্রি-মার্জ কন্টিনিউয়াস ইন্টিগ্রেশন (CI) স্যুটের অংশ হিসেবে চলে, যা ইঞ্জিনিয়ারদের তাদের পরিবর্তনে উচ্চ আস্থা দেয়। 
• দীর্ঘমেয়াদী মেট্রিক্স: মার্জের পর রিগ্রেশন, রিভার্টের ফ্রিকোয়েন্সি এবং ল্যাটেন্সি পরিবর্তনসমূহ রিলিজ জুড়ে ট্র্যাক করা হয়।
• বিস্তৃত পর্যবেক্ষণযোগ্যতা: এজেন্ট কার্যকলাপের স্বয়ংক্রিয় ট্রেসিং ও ভিজ্যুয়ালাইজেশন, যা এজেন্টগুলোকে Roblox-এর অন্যান্য অংশের সাথে সংযুক্ত করে এবং অনলাইন ও অফলাইন মূল্যায়নে নির্বিঘ্নে তথ্য সরবরাহ করে।

এই সিস্টেমটি একটি এজেন্ট কোয়ালিটি স্কোর তৈরি করে যা সময়ের সাথে কর্মক্ষমতার পরিবর্তনগুলিকে সঠিকভাবে ট্র্যাক করে, এজেন্ট রিভিশন এবং মডেল সংস্করণ জুড়ে মানসম্মত তুলনা সক্ষম করে। আমরা যখন এক্সাম্পলার এলাইনমেন্ট এবং একটি পূর্ণাঙ্গ ইভাল স্যুট চালু করেছি, তখন থেকে একটি Roblox কোড ইন্টেলিজেন্স এজেন্টের PR প্রস্তাব গ্রহণ হার প্রায় ৩০% থেকে ৬০%-এর বেশি হয়েছে ১০,০০০টি PR-এর সেটে, যা বিশ্বাসযোগ্য, ডোমেইন-সঙ্গতিপূর্ণ কর্মক্ষমতার একটি প্রাথমিক ইঙ্গিত। একই প্রক্রিয়ার মাধ্যমে, আমাদের ফিচার ফ্ল্যাগ ক্লিনিং এজেন্টের সামগ্রিক সঠিকতা ৪৬% থেকে ৯০%-এরও বেশি হয়েছে।

আগামী পথ: প্রতিটি টুলে বিশেষজ্ঞের বিচারবুদ্ধি বুনন 

আমরা MCP এবং টুল র‍্যাপার-এর একটি স্তর তৈরি করে এবং কোড ইন্টেলিজেন্স প্ল্যাটফর্মকে নির্দিষ্ট কাজ থেকে Roblox কোডবেসকে সুস্থ রাখার একটি সিস্টেমে বিকশিত করে আমাদের প্রতিষ্ঠিত অভ্যন্তরীণ সিস্টেমগুলির কার্যকারিতা বৃদ্ধি করছি। 

আমরা এমন একটি ইঞ্জিনিয়ারিং ভবিষ্যত কল্পনা করি যেখানে রানটাইম প্রসঙ্গ এবং বিশেষজ্ঞের বিচারের মতো ঐতিহাসিকভাবে স্কেল করা কঠিন জ্ঞান প্রতিটি টুল এবং ওয়ার্কফ্লোতে বোনা থাকবে। যখন কোড ইন্টেলিজেন্স, আদর্শ সামঞ্জস্য এবং পর্যবেক্ষণযোগ্যতা একত্রিত হয়, তখন আমরা টেকসই সুবিধা অর্জন করি: উন্নত গুণমান, দ্রুত ডেলিভারি, এবং একটি স্বাস্থ্যকর, বিকশিত কোডবেস। দীর্ঘমেয়াদী লক্ষ্য হল প্রতিটি ইঞ্জিনিয়ারকে প্রতিষ্ঠানগত স্মৃতির ক্ষমতা প্রদান করা, প্রতিটি দলকে দ্রুত শিপ করার আত্মবিশ্বাস দেওয়া, এবং প্রতিটি ইঞ্জিনিয়ারকে রক্ষণাবেক্ষণের পরিবর্তে উদ্ভাবনে মনোনিবেশ করার স্বাধীনতা প্রদান করা।