Author
অর্জুন গুহ (Roblox + নর্থইস্টার্ন ইউনিভার্সিটি), রেমন্ড লি (ServiceNow), লুবনা বেন আল্লাল (HuggingFace), ইয়াংতিয়ান জি (নর্থইস্টার্ন ইউনিভার্সিটি), নিকলাস মুয়েননিঘফ (HuggingFace), ডেনিস কোচেটকভ (ServiceNow), চেংহাও মু (স্বতন্ত্র), মার্ক মারোনে (জনস হপকিন্স ইউনিভার্সিটি), ক্রিস্টোফার আকিকি (লেইপজিগ বিশ্ববিদ্যালয় + ScaDS.AI), জিয়া লি (স্বতন্ত্র), জেনি চিম (কুইন মেরি বিশ্ববিদ্যালয়, লন্ডন), চিয়ান লিউ (সি এআই ল্যাব), ইভজেনি ঝেল্টোনোঝস্কি (টেকনিয়ন – ইস্রায়েল ইনস্টিটিউট অফ টেকনোলজি), টেরি ইউ ঝুও (মোনাশ বিশ্ববিদ্যালয় + CSIRO's Data61), থমাস ওয়াং (হুগিংফেস), অলিভিয়ে ডেহেন (হুগিংফেস), মিশিক দাভাআদর্জ (হুগিংফেস), জোয়েল লামি-পোয়ারিয়ে (সার্ভিসনও), জোয়াও মন্টেইরো (সার্ভিসনও), ওলেহ শ্লিয়াজকো (ServiceNow), নিকোলাস গনটিয়ার (ServiceNow), নিকোলাস মিড (Mila + McGill University), আরমেল জেবাজে (HuggingFace), মিং-হো ই (Northeastern University), লোকেশ কুমার উমাপথি (Saama AI Research Lab), জিয়ান ঝু (ব্রিটিশ কলম্বিয়া বিশ্ববিদ্যালয়), বেনজামিন লিপকিন (MIT), মুহতাসাম অবলুকুলভ (টেকনিক্যাল ইউনিভার্সিটি অব মিউনিখ), ঝিরুও ওয়াং (কার্নেগি মেলন বিশ্ববিদ্যালয়), রুদ্র মুরthy (আইবিএম রিসার্চ), জেসন স্টিলারম্যান (ভারমন্ট বিশ্ববিদ্যালয়), সিভা সংকল্প প্যাটেল (আইবিএম রিসার্চ), দিমিত্রি আবুলখানভ (স্বতন্ত্র), মার্কো জোক্কা (আনফোল্ডএমএল), মানন দে (এসএপি), ঝিহান ঝাং (নটর ডেম বিশ্ববিদ্যালয়), নূর ফাহমি (কলম্বিয়া বিশ্ববিদ্যালয়), উর্বashi ভট্টাচার্য (ডিসকভার ডলার প্রাইভেট লিমিটেড), ওয়েনহাও ইউ (নটর ডেম বিশ্ববিদ্যালয়), স্বয়ম সিং (আলাহাবাদ বিশ্ববিদ্যালয়), সাশা লুচ্চিয়নি (হাগিংফেস), পাওলো ভিল্লেগাস (টেলিফোনিকা I+D), ম্যাক্সিম কুনাকভ (টোলকা), ফেডোর ঝদানভ (টোলকা), ম্যানুয়েল রোমেরো (স্বতন্ত্র), টনি লি (স্ট্যানফোর্ড বিশ্ববিদ্যালয়), নাডাভ তিমোর (ওয়াইজম্যান ইনস্টিটিউট অফ সায়েন্স), জেনিফার ডিং (দ্য অ্যালান টিউরিং ইনস্টিটিউট), ক্লেয়ার শ্লেসিনজার (নর্থইস্টার্ন বিশ্ববিদ্যালয়), হেইলি শোকলকপ (ইলিউথার এআই), জান এবার্ট (ফোর্শুনগৎসেন্ট্রুম জুলিখ), ত্রি দা (স্ট্যানফোর্ড বিশ্ববিদ্যালয়), ময়ঙ্ক মিশ্র (আইবিএম রিসার্চ), অ্যালেক্স গু (এমআইটি), জেনিফার রবিনসন (সার্ভিসনও), ক্যারোলিন জেন অ্যান্ডারসন (ওয়েলসলি কলেজ), ব্রেন্ডান ডোলান-গ্যাভিট (এনওয়াইইউ), দানিশ কন্ট্রাক্টর (স্বতন্ত্র), সিভা রেড্ডি (সার্ভিসনও + মিলা), ড্যানিয়েল ফ্রিড (কার্নেগি মেলন ইউনিভার্সিটি), ডজমিট্রি বাহদানাউ (সার্ভিসনও), ইয়াসিন জেরনিটে (হাগিংফেস), কার্লোস মুনিওজ ফেরান্ডিস (হাগিংফেস), শন হিউজেস (সার্ভিসনও), থমাস উলফ (হাগিংফেস), লিওনার্দো ভন ভেরা (হাগিংফেস), হার্ম ডে ভ্রিজ (সার্ভিসনও)
Venue
ট্রানজ্যাকশনস অন মেশিন লার্নিং রিসার্চ (TMLR) ২০২৩
Abstract
বিগকোড কমিউনিটি, একটি উন্মুক্ত-বৈজ্ঞানিক সহযোগিতা যা কোডের জন্য বৃহৎ ভাষামডেলের (Code LLMs) দায়িত্বশীল উন্নয়নে কাজ করছে, StarCoder এবং StarCoderBase উপস্থাপন করছে: 15.5 বিলিয়ন প্যারামিটারের মডেল, 8K প্রসঙ্গ দৈর্ঘ্য, ইনফিলিং ক্ষমতা এবং মাল্টি-কোয়েরি অ্যাটেনশন দ্বারা সক্ষম দ্রুত বৃহৎ-ব্যাচ ইনফারেন্স। StarCoderBase প্রশিক্ষিত হয়েছে The Stack-এ, যা একটি বৃহৎ সংগ্রহ, যেখানে অনুমতিসাপেক্ষ লাইসেন্সপ্রাপ্ত GitHub রিপোজিটরিগুলো রয়েছে, সাথে ইনস্পেকশন টুল এবং অপ্ট-আউট প্রক্রিয়া। আমরা StarCoderBase-কে ৩৫ বিলিয়ন পাইথন টোকেনে ফাইন-টিউন করে StarCoder তৈরি করেছি। আমরা এ পর্যন্ত কোড এলএলএম-গুলোর সবচেয়ে ব্যাপক মূল্যায়ন করেছি এবং দেখিয়েছি যে StarCoderBase একাধিক প্রোগ্রামিং ভাষা সমর্থনকারী প্রতিটি ওপেন কোড এলএলএম-কে ছাড়িয়ে যায় এবং OpenAI code-cushman-001 মডেলের সমপর্যায় বা তার থেকেও ভালো ফলাফল করে। উপরন্তু, StarCoder পাইথনে ফাইন-টিউন করা প্রতিটি মডেলকে ছাড়িয়ে যায়, HumanEval-এ 40% pass@1 অর্জন করতে প্রম্পট করা যায়, এবং অন্যান্য প্রোগ্রামিং ভাষায়ও তার কর্মক্ষমতা বজায় রাখে। আমরা একটি নিরাপদ ওপেন-অ্যাক্সেস মডেল রিলিজের দিকে বেশ কয়েকটি গুরুত্বপূর্ণ পদক্ষেপ নিয়েছি, যার মধ্যে রয়েছে উন্নত PII রেডাকশন পাইপলাইন এবং একটি নতুন অ্যাট্রিবিউশন ট্রেসিং টুল, এবং StarCoder মডেলগুলোকে Open Responsible AI Model লাইসেন্সের আরও বাণিজ্যিকভাবে কার্যকর সংস্করণের অধীনে সর্বসাধারণের জন্য উন্মুক্ত করেছি।
