MultiPL-E: Sinir Ağı Kod Üretiminin Karşılaştırmalı Değerlendirilmesine Yönelik Ölçeklenebilir ve Çok Dilli Bir Yaklaşım

Büyük dil modelleri, hem doğal dil hem de programlama dili metinleri üretme yeteneğini kanıtlamıştır. Bu tür modeller, çok dilli kod üretiminin önünü açmaktadır: kod üretim modelleri, bir dildeki bilgiyi başka bir dile genelleştirebilir mi? Günümüzün kod üretim modelleri, anlamsal olarak doğru Python kodu üretebilse de, diğer dillerdeki yetenekleri hakkında çok az şey bilinmektedir. Biz, birim test odaklı kod üretim karşılaştırma testlerini yeni dillere çeviren bir sistem olan MultiPL-E'yi öneriyoruz. MultiPL-E'yi kullanarak iki popüler Python kod üretme karşılaştırma testini 18 ek programlama diline çevirerek, ilk büyük ölçekli çok dilli kod üretme karşılaştırma testini oluşturuyoruz.

MultiPL-E'yi kullanarak HumanEval ve MBPP karşılaştırma testlerini, çeşitli programlama paradigmalarını ve popülerlik düzeylerini kapsayan 18 dile genişlettik. Bu yeni paralel karşılaştırma testlerini kullanarak, Codex, CodeGen ve InCoder olmak üzere üç son teknoloji kod üretme modelinin çok dilli performansını değerlendirdik. Codex'in, Python'daki performansına eşdeğer veya hatta onu aşan bir performans sergilediğini gördük. MultiPL-E'de temsil edilen programlama dilleri yelpazesi, dil sıklığı ve dil özelliklerinin model performansı üzerindeki etkisini araştırmamızı sağlıyor. Son olarak, kod üretimi karşılaştırma testlerini yeni programlama dillerine derleyen MultiPL-E yaklaşımı hem ölçeklenebilir hem de genişletilebilir olduğundan, yeni modelleri, karşılaştırma testlerini ve dilleri değerlendirmek oldukça kolay hale geliyor.