Banca de QUALIFICAÇÃO: DOUGLAS CHALEGRE DE SÁ BELO TORRES

Uma banca de QUALIFICAÇÃO de MESTRADO foi cadastrada pelo programa.
DISCENTE : DOUGLAS CHALEGRE DE SÁ BELO TORRES
DATA : 14/09/2026
HORA: 11:00
LOCAL: Instituto de Computação
TÍTULO:

Além da Conclusão da Tarefa: Comparando a Auditabilidade de Traces em Harnesses de Agentes LLM

PALAVRAS-CHAVES:

Agentes LLM, Belief-Desire-Intention (BDI), Harnesses de Agentes, Auditabilidade de Traces, Logging Estruturado

PÁGINAS: 40
RESUMO:

Harnesses de agentes LLM são cada vez mais utilizados em fluxos de trabalho delimitados e compostos por múltiplas etapas, nos quais evidências locais precisam ser transformadas em múltiplos artefatos sob restrições explícitas. No entanto, o estado de execução desses sistemas frequentemente encontra-se distribuído entre mensagens, eventos de ferramentas, checklists e registros específicos de cada harness, em vez de ser organizado por meio de um modelo uniforme de objetivos, compromissos, planos e progresso. Propomos uma camada de controle inspirada em BDI que utiliza um LLM como componente de raciocínio estruturado, ao mesmo tempo em que mantém representações explícitas de crenças (beliefs), desejos (desires), intenções (intentions) e planos (plans). Desejos representam os objetivos solicitados, intenções representam compromissos ativos e planos representam estratégias executáveis que podem ser monitoradas, reparadas ou substituídas sem que o compromisso subjacente seja imediatamente abandonado. Comparamos configurações completas dos harnesses BDI, Codex e OpenCode no SBench, um benchmark baseado em arquivos locais e composto por tarefas com múltiplos artefatos, ao longo de 63 execuções. Todos os processos executores foram concluídos e arquivaram os artefatos esperados. Um avaliador determinístico de artefatos aceitou 61 das 63 respostas arquivadas, sendo que as duas falhas ocorreram nas execuções BDI, enquanto a configuração BDI apresentou maior tempo médio de execução do que Codex e OpenCode. Uma análise retrospectiva exploratória dos traces constatou que elementos gerais da execução puderam ser reconstruídos nos três harnesses, produzindo efeitos de teto que impedem um ranqueamento geral de auditabilidade. Ainda assim, os traces indicaram diferentes perfis recorrentes de representação: o BDI expôs o estado deliberativo em tempo de execução, o OpenCode utilizou de forma proeminente estados estruturados de tarefas (to-do), e o Codex apoiou-se mais em mensagens explícitas e eventos operacionais tipados.

MEMBROS DA BANCA:
Presidente - 1963609 - BALDOINO FONSECA DOS SANTOS NETO
Interno(a) - 1741806 - MARCIO DE MEDEIROS RIBEIRO
Externo(a) ao Programa - 3064875 - DAVY DE MEDEIROS BAIA - UFALExterno(a) à Instituição - WESLEY KLEWERTON GUEZ ASSUNÇÃO