Como programadores iniciantes e LLMs de código se (mal)interpretam mutuamente
Author
Venue
CHI 2024
Abstract
Modelos de IA generativa, especificamente grandes modelos de linguagem (LLMs), avançaram significativamente em direção ao objetivo de longa data da geração de texto para código. Esse progresso motivou inúmeros estudos sobre a interação do usuário. No entanto, pouco se sabe sobre as dificuldades e estratégias de usuários não especialistas, para os quais cada etapa do problema de conversão de texto em código apresenta desafios: descrever sua intenção em linguagem natural, avaliar a correção do código gerado e editar prompts quando o código gerado está incorreto. Este artigo apresenta um estudo controlado em larga escala sobre como 120 programadores iniciantes de três instituições acadêmicas abordam a redação e a edição de prompts. Um novo desenho experimental nos permite focar em etapas específicas do processo de conversão de texto em código e revela que os iniciantes enfrentam dificuldades na redação e edição de prompts, mesmo para problemas em seu nível de habilidade e quando a correção é determinada automaticamente. Nossa avaliação com métodos mistos fornece insights sobre os processos e percepções dos alunos, com implicações importantes para o uso de LLM de código por não especialistas dentro e fora da educação.
