كيف يسيء المبرمجون المبتدئون وبرمجيات اللغة الكبيرة (LLMs) فهم بعضهم البعض
Author
Venue
CHI 2024
Abstract
حققت نماذج الذكاء الاصطناعي التوليدية، وتحديدًا نماذج اللغة الكبيرة (LLMs)، تقدمًا كبيرًا نحو الهدف الطويل الأمد المتمثل في تحويل النص إلى كود. وقد أدى هذا التقدم إلى إجراء العديد من الدراسات حول تفاعل المستخدمين. ومع ذلك، لا يُعرف الكثير عن الصعوبات والاستراتيجيات التي يواجهها غير الخبراء، الذين تمثل كل خطوة من خطوات تحويل النص إلى كود تحديًا لهم: وصف نيتهم باللغة الطبيعية، وتقييم صحة الكود الذي تم إنشاؤه، وتحرير المطالبات عندما يكون الكود الذي تم إنشاؤه غير صحيح. تقدم هذه الورقة دراسة مراقبة واسعة النطاق حول كيفية تعامل 120 مبرمجًا مبتدئًا في ثلاث مؤسسات أكاديمية مع كتابة وتحرير المطالبات. يسمح لنا تصميم تجريبي مبتكر باستهداف خطوات محددة في عملية تحويل النص إلى كود، ويكشف أن المبتدئين يواجهون صعوبات في كتابة وتحرير المطالبات، حتى بالنسبة للمشاكل التي تتناسب مع مستوى مهاراتهم وعندما يتم تحديد صحة الكود تلقائيًا. يوفر تقييمنا الذي يعتمد على أساليب مختلطة نظرة ثاقبة على عمليات الطلاب وتصوراتهم، مع آثار رئيسية على استخدام نماذج اللغة الكبيرة (LLM) غير المتخصصة في مجال البرمجة داخل وخارج التعليم.
