Avaliando modelos de linguagem geradores de tratamento de exceção na linguagem Java baseado em código executado
Aprendizagem Profunda, Tratamento de Exceções, Modelo de Linguagem
Recentemente, o avanço dos Modelos de Linguagem de Grande Escala (LLMs) gerou uma proliferação de abordagens para resolver problemas de código. Contudo, a avaliação eficaz dessas abordagens é crucial. Este estudo se concentra na avaliação de modelos de linguagem que geram código, com foco no tratamento de exceção em Java. O tratamento de exceção é vital para lidar com falhas em tempo de execução, mas a garantia de que a abordagem de tratamento de exceção é correta é desafiadora. Para abordar isso, coletamos códigos-fonte de repositórios do GitHub em Java, priorizando aqueles com boa cobertura de testes. Em seguida, investigamos os commits para identificar alterações relacionadas ao tratamento de exceção. Desenvolvemos uma metodologia que envolve a execução de testes nos códigos modificados pelos desenvolvedores, substituição desses códigos pelo código gerado pelo modelo e, por fim, a reexecução dos testes. Os resultados registrados nos permitiu avaliar a eficácia das abordagens de tratamento de exceção geradas pelos modelos de linguagem, fornecendo insights valiosos sobre sua aplicabilidade e confiabilidade em situações do mundo real.