Author
அர்ஜுன் குஹா (ராப்லாக்ஸ் + நார்த்ஈஸ்டர்ன் பல்கலைக்கழகம்), ரேமண்ட் லி (சர்வீஸ்நௌ), லூப்னா பென் அல்லால் (ஹக்கிங்ஃபேஸ்), யாங்டியன் ஸி (நார்த்ஈஸ்டர்ன் பல்கலைக்கழகம்), நிகிளாஸ் முன்னிகோஃப் (ஹக்கிங்ஃபேஸ்), டெனிஸ் கோசெட்கோவ் (சர்வீஸ்நௌ), செங்காவோ மௌ (தன்னிச்சையான), மார்க் மரோன் (ஜான்ஸ் ஹாப்கின்ஸ் பல்கலைக்கழகம்), கிறிஸ்டோபர் அக்கி (லைப்சிக் பல்கலைக்கழகம் + ScaDS.AI), ஜியா லி (தன்னிச்சையான), ஜென்னி சிம் (குயின் மேரி பல்கலைக்கழகம், லண்டன்), கியான் லியு (சீ ஏஐ லேப்), எவ்ஜெனி ஜெல்டோனோஸ்கி (டெக்னியன் – இஸ்ரேல் தொழில்நுட்ப நிறுவனம்), டெர்ரி யூ ஸுஓ (மோனாஷ் பல்கலைக்கழகம் + CSIRO-வின் Data61), தாமஸ் வாங் (ஹக்கிங்ஃபேஸ்), ஓலிவியர் டிஹேன் (ஹக்கிங்ஃபேஸ்), மிஷிக் டாவாடோர்ஜ் (ஹக்கிங்ஃபேஸ்), ஜோயல் லமி-போயரியர் (சர்வீஸ்நௌ), ஜோவா மான்டெய்ரோ (சர்வீஸ்நௌ), ஓலே ஷ்லியாஷ்கோ (சர்வீஸ்நௌ), நிக்கோலஸ் கோன்டியர் (சர்வீஸ்நௌ), நிக்கோலஸ் மீட் (மிலா + மெக்ரில் பல்கலைக்கழகம்), ஆர்மெல் செபாஸ் (ஹக்கிங்ஃபேஸ்), மிங்-ஹோ யீ (நார்த்ஈஸ்டர்ன் பல்கலைக்கழகம்), லோகேஷ் குமார் உமாபதி (சாமா AI ஆராய்ச்சி ஆய்வகம்), ஜியான் ஸு (பிரிட்டிஷ் கொலம்பியா பல்கலைக்கழகம்), பெஞ்சமின் லிப்கின் (MIT), முஹ்தாஷம் ஒப்லகுலோவ் (மியூனிக் தொழில்நுட்பப் பல்கலைக்கழகம்), ஜிருவோ வாங் (கார்னகி மெலன் பல்கலைக்கழகம்), ருத்ரா மూర్த்தி (ஐபிஎம் ரிசர்ச்), ஜேசன் ஸ்டில்லர்மன் (வெர்மான்ட் பல்கலைக்கழகம்), சிவா சங்கல்ப படேல் (ஐபிஎம் ரிசர்ச்), டிமிட்ரி அபுல்கானோவ் (தன்னிச்சையான), மார்கோ ஜோக்கா (அன்ஃபோல்ட்எம்எல்), மானன் தேய் (SAP), ஜிகான் ஜாங் (நொட்ரே டேம் பல்கலைக்கழகம்), நூர் ஃபஹ்மி (கொலம்பியா பல்கலைக்கழகம்), உர்வாஷி பட்டாச்சார்யா (டிஸ்கவர் டாலர் பிரைவேட் லிமிடெட்), வென்ஹாவோ யூ (நொட்ரே டேம் பல்கலைக்கழகம்), ஸ்வயம் சிங் (அலஹாபாத் பல்கலைக்கழகம்), சாஷா லூசியோனி (ஹக்கிங்ஃபேஸ்), பவுலோ வில்லெகாஸ் (டெலிஃபோனிகா I+D), மாக்சிம் குனகோவ் (டோலோகா), ஃபெடோர் ஜ் டானோவ் (டோலோகா), மானுவல் ரொமெரோ (சுயாதீன), டோனி லீ (ஸ்டான்போர்டு பல்கலைக்கழகம்), நதாவ் டிமோர் (வைஸ்மேன் அறிவியல் நிறுவனம்), ஜெனிஃபர் டிங் (தி ஆலன் டூரிங் நிறுவனம்), கிளாரி ஷ்லெசிங்கர் (நார்த்ஈஸ்டர்ன் பல்கலைக்கழகம்), ஹெய்லி ஷோல்காப் (எலூதர் ஏஐ), ஜான் எபர்ட் (ஃபோர்ஷங்ஸ்ஸென்ட்ரம் யூலிச்), டிரை டாவோ (ஸ்டான்போர்ட் பல்கலைக்கழகம்), மயங்க் மிஸ்ரா (ஐபிஎம் ரிசர்ச்), அலெக்ஸ் கு (எம்ஐடி), ஜெனிஃபர் ராபின்சன் (சர்வீஸ்நௌ), கரோலின் ஜேன் ஆண்டர்சன் (வெல்ஸ்லி கல்லூரி), பிரெண்டன் டோலன்-கவிட் (NYU), தாணிஷ் கான்ட்ராக்டர் (தன்னிச்சையான), சிவா ரெட்டி (சர்வீஸ்நௌ + மிலா), டேனியல் ஃப்ரைட் (கார்னகி மெலன் பல்கலைக்கழகம்), ட்சமித்ரி பஹ்தானவு (சர்வீஸ்நௌ), யாசின் ஜெர்னைட் (ஹக்கிங்ஃபேஸ்), கார்லோஸ் முனோஸ் ஃபெரான்டிஸ் (ஹக்கிங்ஃபேஸ்), சீன் ஹியூஸ் (சர்வீஸ்நௌ), தாமஸ் வோல்ஃப் (ஹக்கிங்ஃபேஸ்), லியான்ட்ரோ வான் வெரா (ஹக்கிங்ஃபேஸ்), ஹார்ம் டி வ்ரீஸ் (சர்வீஸ்நௌ)
Venue
மெஷின் லேர்னிங் ஆராய்ச்சி மீதான பரிவர்த்தனைகள் (TMLR) 2023
Abstract
குறியீட்டிற்கான பெரிய மொழி மாதிரிகளின் (Code LLMs) பொறுப்பான மேம்பாட்டில் பணியாற்றும் ஒரு திறந்த-அறிவியல் கூட்டு முயற்சியான பிக் கோடிங் சமூகம், ஸ்டார்கோடர் மற்றும் ஸ்டார்கோடர்பேஸை அறிமுகப்படுத்துகிறது: இது 8K சூழல் நீளம், நிரப்புதல் திறன்கள் மற்றும் பல-விசாரணை கவனத்தின் மூலம் செயல்படுத்தப்பட்ட வேகமான பெரிய-தொகுதி முன்கணிப்பு ஆகியவற்றைக் கொண்ட 15.5 பில்லியன் அளவுரு மாதிரிகளாகும். ஸ்டார்கோடர்பேஸ், ஆய்வுக் கருவிகள் மற்றும் விலகுவதற்கான செயல்முறையுடன் கூடிய, அனுமதிக்கப்பட்ட உரிமம் பெற்ற ஜித்ப் களஞ்சியங்களின் ஒரு பெரிய தொகுப்பான 'தி ஸ்டேக்'கிலிருந்து பெறப்பட்ட 1 டிரில்லியன் டோக்கன்களில் பயிற்சி செய்யப்பட்டுள்ளது. நாங்கள் 35 பில்லியன் பைத்தான் டோக்கன்களில் ஸ்டார்கோடர்பேஸை நுணுக்கமாகப் பயிற்சி செய்து, அதன் விளைவாக ஸ்டார்கோடரை உருவாக்கினோம். நாங்கள் இதுவரை இல்லாத அளவிற்கு கோட் LLM-களின் மிகவும் விரிவான மதிப்பீட்டை மேற்கொள்கிறோம், மேலும் StarCoderBase பல நிரலாக்க மொழிகளை ஆதரிக்கும் ஒவ்வொரு திறந்த கோட் LLM-ஐயும் விட சிறப்பாக செயல்படுவதையும், OpenAI code-cushman-001 மாடலுக்கு இணையாக இருப்பதையும் அல்லது அதை மிஞ்சுவதையும் காட்டுகிறோம். மேலும், StarCoder, பைத்தானில் நுணுக்கமாகப் பயிற்றுவிக்கப்பட்ட ஒவ்வொரு மாடலையும் விட சிறப்பாகச் செயல்படுகிறது, HumanEval-இல் 40\% pass@1-ஐ அடைய தூண்டப்பட முடியும், மேலும் மற்ற நிரலாக்க மொழிகளிலும் அதன் செயல்திறனைத் தக்க வைத்துக் கொள்கிறது. மேம்படுத்தப்பட்ட தனிப்பட்ட அடையாளத் தகவல் (PII) நீக்கும் வழிமுறை மற்றும் ஒரு புதிய உரிமைக் குறித்தல் கண்காணிப்புக் கருவி உள்ளிட்ட, பாதுகாப்பான திறந்த அணுகல் மாதிரி வெளியீட்டிற்கான பல முக்கிய நடவடிக்கைகளை நாங்கள் மேற்கொள்கிறோம். மேலும், ஸ்டார்கோடர் மாதிரிகளை, ஓப்பன் ரெஸ்பான்சிபிள் AI மாடல் உரிமத்தின் வணிக ரீதியாக மிகவும் சாத்தியமான பதிப்பின் கீழ் பொதுமக்களுக்குக் கிடைக்கச் செய்கிறோம்.
