Cách các lập trình viên mới bắt đầu và các mô hình ngôn ngữ lớn (LLMs) hiểu lầm lẫn nhau
Author
Venue
CHI 2024
Abstract
Các mô hình AI tạo sinh, đặc biệt là các mô hình ngôn ngữ lớn (LLM), đã đạt được những bước tiến dài hướng tới mục tiêu lâu dài là tạo mã từ văn bản. Tiến bộ này đã thu hút nhiều nghiên cứu về tương tác người dùng. Tuy nhiên, vẫn còn ít thông tin về những khó khăn và chiến lược của những người không chuyên, đối với họ, mỗi bước trong vấn đề chuyển văn bản thành mã đều là một thách thức: mô tả ý định của họ bằng ngôn ngữ tự nhiên, đánh giá tính chính xác của mã được tạo ra và chỉnh sửa lời nhắc khi mã được tạo ra không chính xác. Bài báo này trình bày một nghiên cứu có kiểm soát quy mô lớn về cách 120 lập trình viên mới bắt đầu tại ba cơ sở giáo dục tiếp cận việc viết và chỉnh sửa lời nhắc. Một thiết kế thí nghiệm mới cho phép chúng tôi tập trung vào các bước cụ thể trong quy trình chuyển đổi văn bản thành mã và cho thấy rằng người mới bắt đầu gặp khó khăn trong việc viết và chỉnh sửa lời nhắc, ngay cả đối với các vấn đề ở mức độ kỹ năng của họ và khi tính chính xác được xác định tự động. Đánh giá kết hợp phương pháp của chúng tôi cung cấp cái nhìn sâu sắc về quy trình và nhận thức của sinh viên, với những hàm ý quan trọng đối với việc sử dụng Code LLM của người không chuyên trong và ngoài môi trường giáo dục.
