Cómo los programadores principiantes y los modelos de lenguaje grande (LLM) se (mal)interpretan mutuamente
Author
Venue
CHI 2024
Abstract
Los modelos de IA generativa, concretamente los modelos de lenguaje a gran escala (LLM), han avanzado considerablemente hacia el objetivo de larga data de la generación de código a partir de texto. Este progreso ha dado lugar a numerosos estudios sobre la interacción con los usuarios. Sin embargo, se sabe menos sobre las dificultades y estrategias de los no expertos, para quienes cada paso del problema de la conversión de texto a código presenta retos: describir su intención en lenguaje natural, evaluar la corrección del código generado y editar las indicaciones cuando el código generado es incorrecto. Este artículo presenta un estudio controlado a gran escala sobre cómo 120 programadores principiantes de tres instituciones académicas abordan la redacción y edición de indicaciones. Un novedoso diseño experimental nos permite centrarnos en pasos específicos del proceso de conversión de texto a código y revela que los principiantes tienen dificultades para escribir y editar las indicaciones, incluso en problemas de su nivel de habilidad y cuando la corrección se determina automáticamente. Nuestra evaluación con métodos mixtos ofrece información sobre los procesos y percepciones de los estudiantes, con implicaciones clave para el uso de los modelos de lenguaje grande (LLM) de código por parte de personas sin experiencia, tanto dentro como fuera del ámbito educativo.
