మల్టీప్ల్-ఇ: న్యూరల్ కోడ్ జనరేషన్ బెంచ్‌మార్కింగ్ కోసం ఒక స్కేలబుల్ మరియు పాలిగ్లాట్ విధానం

లార్జ్ లాంగ్వేజ్ మోడల్స్ సహజ భాష మరియు ప్రోగ్రామింగ్ భాష టెక్స్ట్‌లను రెండింటినీ రూపొందించగల సామర్థ్యాన్ని ప్రదర్శించాయి. అటువంటి మోడల్స్ బహుభాషా కోడ్ జనరేషన్‌కు అవకాశాన్ని కల్పిస్తాయి: కోడ్ జనరేషన్ మోడల్స్ ఒక భాష నుండి మరొక భాషకు జ్ఞానాన్ని సాధారణీకరించగలవా? సమకాలీన కోడ్ జనరేషన్ మోడల్స్ భావపరంగా సరైన పైథాన్ కోడ్‌ను రూపొందించగలిగినప్పటికీ, ఇతర భాషలతో వాటి సామర్థ్యాల గురించి పెద్దగా తెలియదు. మేము మల్టీప్ల్-ఇ (MultiPL-E)ని ప్రతిపాదిస్తున్నాము, ఇది యూనిట్ టెస్ట్-డ్రివెన్ కోడ్ జనరేషన్ బెంచ్‌మార్క్‌లను కొత్త భాషలకు అనువదించే ఒక సిస్టమ్. రెండు ప్రముఖ పైథాన్ కోడ్ జనరేషన్ బెంచ్‌మార్క్‌లను 18 అదనపు ప్రోగ్రామింగ్ భాషలకు అనువదించడానికి మల్టీప్ల్-ఇ (MultiPL-E)ని ఉపయోగించడం ద్వారా మేము మొట్టమొదటి భారీ బహుభాషా కోడ్ జనరేషన్ బెంచ్‌మార్క్‌ను సృష్టించాము.

విభిన్న ప్రోగ్రామింగ్ పారడైమ్‌లు మరియు ప్రజాదరణను కలిగి ఉన్న 18 భాషలకు HumanEval మరియు MBPP బెంచ్‌మార్క్‌లను విస్తరించడానికి మేము MultiPL-Eని ఉపయోగిస్తాము. ఈ కొత్త సమాంతర బెంచ్‌మార్క్‌లను ఉపయోగించి, మేము మూడు అత్యాధునిక కోడ్ జనరేషన్ మోడల్‌లైన Codex, CodeGen, మరియు InCoder యొక్క బహుభాషా పనితీరును మూల్యాంకనం చేస్తాము. అనేక ఇతర భాషల కోసం Pythonలో Codex పనితీరు దానితో సరిపోలుతుందని లేదా దానిని కూడా మించిపోతుందని మేము కనుగొన్నాము. MultiPL-Eలో ప్రాతినిధ్యం వహించబడిన ప్రోగ్రామింగ్ భాషల శ్రేణి, మోడల్ పనితీరుపై భాష యొక్క ఫ్రీక్వెన్సీ మరియు భాషా ఫీచర్ల ప్రభావాన్ని అన్వేషించడానికి మాకు అనుమతిస్తుంది. చివరగా, కొత్త ప్రోగ్రామింగ్ భాషలకు కోడ్ జనరేషన్ బెంచ్‌మార్క్‌లను కంపైల్ చేసే MultiPL-E విధానం స్కేలబుల్ మరియు విస్తరించదగినది, ఇది కొత్త మోడల్‌లు, బెంచ్‌మార్క్‌లు మరియు భాషలను మూల్యాంకనం చేయడాన్ని సరళంగా చేస్తుంది.