Do Prompt à Automação: Avaliando Scripts Selenium Gerados por LLMs para Tarefas de Interface Web
Modelos de Linguagem, Prompt, Selenium, Text-to-action
Modelos de Linguagem de Grande Escala (LLMs) abriram novos caminhos para a automação de software por meio de prompts em linguagem natural. Nesse contexto, surgiu o paradigma conhecido como Promptware, no qual os prompts substituem o código-fonte tradicional como unidade central no desenvolvimento de software. Neste artigo, investigamos a viabilidade do Promptware para automatizar tarefas de interface de usuário na web por meio de scripts Selenium gerados por LLMs. Nosso estudo avalia 200 ações variadas de interface — incluindo envio de formulários, cliques em botões e interações com campos de entrada —, sendo cada ação descrita em linguagem natural e acompanhada de um snapshot correspondente do HTML. Esses prompts são processados pelo modelo Gemini 2.5 Flash para gerar scripts Selenium, que são então validados manualmente quanto à executabilidade e correção da tarefa. Notavelmente, muitas das ações analisadas se alinham a etapas típicas de testes manuais de software, evidenciando uma oportunidade promissora para o uso de LLMs na automação de testes. Nossos resultados revelam que, embora os LLMs consigam produzir scripts funcionais em muitos casos, ainda existem desafios quanto à robustez dos seletores, tratamento de ambiguidades e consistência na geração. Este trabalho contribui com evidências empíricas sobre as capacidades e limitações do Promptware em cenários reais de automação e teste de interfaces web.