Author
अर्जुन गुहा (Roblox + नॉर्थईस्टर्न युनिव्हर्सिटी), रेमंड ली (ServiceNow), लूबना बेन अल्लाल (HuggingFace), यांगटियान झी (नॉर्थईस्टर्न युनिव्हर्सिटी), निक्लास मुएननिघॉफ (HuggingFace), डेनिस कोचेत्कोव (ServiceNow), चेंघाओ मौ (स्वतंत्र), मार्क मारोने (जॉन्स हॉपकिन्स युनिव्हर्सिटी), क्रिस्टोफर अकीकी (लायपझिग विद्यापीठ + ScaDS.AI), जिया ली (स्वतंत्र), जेनी चिम (क्वीन मेरी युनिव्हर्सिटी ऑफ लंडन), चियान लियू (सी एआय लॅब), एवगेनी झेल्टोनोझ्स्की (टेक्नियन – इस्रायल इन्स्टिट्यूट ऑफ टेक्नॉलॉजी), टेरी युए झुओ (मोनाश विद्यापीठ + CSIRO चे Data61), थॉमस वांग (हगिंगफेस), ओलिव्हियर डेहेन (हगिंगफेस), मिशिग दावाडॉर्ज (हगिंगफेस), जोएल लॅमी-पोइरियर (सर्व्हिसनाऊ), जोआओ मोंटेइरो (सर्व्हिसनाऊ), ओलेह श्लियाझ्को (ServiceNow), निकोलस गोंटियर (ServiceNow), निकोलस मीड (Mila + McGill University), आर्मेल झेबाझ (HuggingFace), मिंग-हो यी (Northeastern University), लोकेश कुमार उमापथी (Saama AI Research Lab), जियान झू (ब्रिटिश कोलंबिया विद्यापीठ), बेंजामिन लिपकिन (MIT), मुहताशाम ओब्लोकुलोव्ह (म्युनिक तंत्रज्ञान विद्यापीठ), झिरुओ वांग (कार्नेगी मेलन विद्यापीठ), रुद्र मूर्ति (IBM रिसर्च), जेसन स्टिलरमन (व्हर्माँट विद्यापीठ), शिवा संकल्प पटेल (IBM रिसर्च), दिमित्री अबुलखानोव्ह (स्वतंत्र), मार्को झोक्का (अनफोल्डएमएल), मनन देय (SAP), झिहान झांग (नॉट्रे डेम विद्यापीठ), नूर फाहमी (कोलंबिया विद्यापीठ), उर्वशी भट्टाचार्य (डिस्कव्हर डॉलर प्रा. लि.), वेनहाओ यु (नॉट्रे डेम विद्यापीठ), स्वायम सिंह (इलाहाबाद विद्यापीठ), साशा लुसियोनी (हगिंगफेस), पाउलो विलेगास (टेलीफोनिका आय+डी), मॅक्सिम कुनाकोव्ह (टोलोका), फेडोर झ्दानोव्ह (टोलोका), मॅन्युएल रोमेरो (स्वतंत्र), टोनी ली (स्टॅनफोर्ड विद्यापीठ), नादाव तिमोर (वाइझमॅन विज्ञान संस्था), जेनिफर डिंग (द अॅलन ट्यूरिंग इन्स्टिट्यूट), क्लेअर श्लेसिंगर (नॉर्थईस्टर्न विद्यापीठ), हेली श्कोल्कॉपफ (एलिउथर एआय), जॅन एबर्ट (फोर्शुंग्झेंट्रम ज्युलिच), त्रि दाओ (स्टॅनफोर्ड विद्यापीठ), मयंक मिश्रा (IBM रिसर्च), अॅलेक्स गु (MIT), जेनिफर रॉबिन्सन (ServiceNow), कॅरोलिन जेन अँडरसन (वेलेस्ली कॉलेज), ब्रेंडन डोलन-गॅव्हिट (NYU), Danish Contractor (स्वतंत्र), शिवा रेड्डी (ServiceNow + Mila), डॅनियल फ्रिड (कार्नेगी मेलन विद्यापीठ), झ्द्मित्री बाह्दानौ (सर्व्हिसनाऊ), यासिन जर्निटे (हगिंगफेस), कार्लोस मुन्योझ फेर्रँडिस (हगिंगफेस), शॉन ह्यूजेस (सर्व्हिसनाऊ), थॉमस वुल्फ (हगिंगफेस), लिआंद्रो वॉन वेरा (हगिंगफेस), हारम डी व्रीस (सर्व्हिसनाऊ)
Venue
ट्रान्झॅक्शन्स ऑन मशीन लर्निंग रिसर्च (TMLR) २०२३
Abstract
कोडसाठी मोठ्या भाषा मॉडेल्सच्या (Code LLMs) जबाबदार विकासावर काम करणारे खुले-वैज्ञानिक सहकार्य असलेले BigCode समुदाय StarCoder आणि StarCoderBase सादर करते: 8K संदर्भ लांबी, इनफिलिंग क्षमता आणि मल्टी-क्वेरी अटेंशनद्वारे सक्षम जलद मोठ्या-बॅच इनफरन्ससह 15.5 अब्ज पॅरामीटर्सचे मॉडेल्स. StarCoderBase ला The Stack या मोठ्या संकलनातून मिळालेल्या 1 ट्रिलियन टोकन्सवर प्रशिक्षण देण्यात आले आहे, ज्यात निरीक्षण साधने आणि ऑप्ट-आउट प्रक्रिया असलेल्या परवानगी-आधारित GitHub रिपॉझिटरींचा समावेश आहे. आम्ही 35 अब्ज Python टोकन्सवर StarCoderBase चे फाईन-ट्यूनिंग करून StarCoder तयार केले. आम्ही आतापर्यंतच्या कोड एलएलएमचे सर्वात सर्वसमावेशक मूल्यांकन करतो आणि दाखवतो की StarCoderBase बहुभाषिक प्रोग्रामिंग भाषांना समर्थन देणाऱ्या प्रत्येक ओपन कोड एलएलएमपेक्षा उत्तम कामगिरी करतो आणि OpenAI code-cushman-001 मॉडेलशी जुळतो किंवा त्यापेक्षा चांगली कामगिरी करतो. याव्यतिरिक्त, StarCoder Python वर फाईन-ट्यून केलेल्या प्रत्येक मॉडेलपेक्षा उत्तम कामगिरी करतो, HumanEval वर 40% pass@1 मिळवण्यासाठी प्रॉम्प्ट करता येतो, आणि इतर प्रोग्रामिंग भाषांमधील त्याची कामगिरी अजूनही कायम ठेवतो. आम्ही सुरक्षित ओपन-ऍक्सेस मॉडेल प्रकाशनाच्या दिशेने अनेक महत्त्वाची पावले उचलतो, ज्यात सुधारित PII रेडक्शन पाइपलाइन आणि एक नवीन अॅट्रिब्यूशन ट्रॅसिंग साधन यांचा समावेश आहे, आणि StarCoder मॉडेल्सना Open Responsible AI Model परवान्याच्या अधिक व्यावसायिकदृष्ट्या व्यवहार्य आवृत्तीअंतर्गत सार्वजनिकपणे उपलब्ध करून देतो.
