Banca de QUALIFICAÇÃO: ADELSON JOSÉ DE ORNELLAS FILHO

Uma banca de QUALIFICAÇÃO de MESTRADO foi cadastrada pelo programa.
DISCENTE : ADELSON JOSÉ DE ORNELLAS FILHO
DATA : 14/09/2026
HORA: 13:30
LOCAL: Instituto de Computação
TÍTULO:

Detectando e Refatorando Smells de Teste em Testes de Performance

PALAVRAS-CHAVES:

Smells de Teste, Testes de Performance, LLMs, k6

PÁGINAS: 41
RESUMO:

Testes de performance são essenciais para garantir que o software atenda seus requisitos de responsividade e escalabilidade, e ferramentas como k6 são usadas para escrever scripts de teste de performance que exercitam esses aspectos de forma estruturada e otimizada. Como qualquer código, independentemente da linguagem de programação, scripts k6 estão sujeitos a más práticas recorrentes, conhecidas como performance test smells, que podem gerar resultados enganosos ou desperdiçar recursos. Embora Large Language Models (LLMs) tenham demonstrado potencial na detecção e refatoração de test smells convencionais, sua eficácia em relação a performance test smells permanece amplamente inexplorada. Este trabalho avalia se três LLMs amplamente utilizados (Claude, GPT e Gemini) conseguem detectar e refatorar quatro performance test smells em scripts k6 do mundo real, e se adicionar exemplos ilustrativos de código ao prompt melhora seu desempenho. Utilizando um dataset de 228 scripts k6 coletados de 58 repositórios do GitHub e rotulados por um linter estático, submetemos 1.368 queries de detecção e refatoração em duas variantes de prompt e revisamos manualmente 120 das refatorações resultantes. Constatamos que o desempenho de detecção é moderado e comparável entre os três modelos (F1 micro entre 0,53 e 0,54), que a adição de exemplos de código não melhora a detecção de forma consistente e pode até prejudicá-la, e, mais notavelmente, que a dificuldade de detecção e a dificuldade de refatoração são majoritariamente dissociadas: os smells mais difíceis de detectar costumam ser refatorados de forma quase impecável uma vez encontrados, enquanto um dos smells detectados de forma mais confiável é responsável por quase todas as refatorações incorretas e que quebram o código. Atribuímos essa assimetria a uma distinção entre correções declarativas e arquiteturais, e discutimos suas implicações para a confiança em refatorações geradas por LLMs em testes de performance.

MEMBROS DA BANCA:
Interno(a) - 2343385 - ERICK DE ANDRADE BARBOZA
Interno(a) - 1741806 - MARCIO DE MEDEIROS RIBEIRO
Externo(a) à Instituição - ELVYS ALVES SOARES - IFAL
Externo(a) à Instituição - SAMIRA SANTOS DA SILVA - UFLA