Banca de DEFESA: BRUNA DAMARIS RAMOS DOS SANTOS

Uma banca de DEFESA de MESTRADO foi cadastrada pelo programa.
DISCENTE : BRUNA DAMARIS RAMOS DOS SANTOS
DATA : 27/07/2026
HORA: 14:30
LOCAL: meet.google.com/gyr-qamv-pap
TÍTULO:

Um Sistema de Recomendação Baseado em Modelos de Linguagem de Grande Escala para Intervenções Pedagógicas Apoiado por Geração Aumentada por Recuperação

PALAVRAS-CHAVES:

Geração Aumentada por Recuperação, Sistema de Recomendação Educacional, Estudantes em Risco, Modelos de Linguagem de Grande Porte, Intervenções Pedagógicas, Análise de Aprendizagem, Mineração de Dados Educacionais

PÁGINAS: 80
RESUMO:

As reprovações acadêmicas e a evasão escolar são desafios persistentes na educação básica, sendo a identificação precoce e a intervenção direcionada fatores críticos para a melhoria dos resultados dos estudantes. No entanto, educadores frequentemente não dispõem de orientações estruturadas e baseadas em dados existentes no sistema dos estudantes para decidir como agir diante de alunos identificados como em risco. Este trabalho propõe um sistema de recomendação que gera sugestões personalizadas de intervenções pedagógicas para educadores, fundamentadas em dados históricos de estudantes da rede de escolas SESI-AL, no Estado de Alagoas, Brasil. O sistema agrega notas de avaliação individuais, previsões de probabilidade de reprovação por disciplina e registros de ocorrências comportamentais em perfis estruturados de estudantes, que são indexados em uma base de dados vetorial e recuperados no momento da inferência para fornecer contexto relevante a um modelo de linguagem de grande porte por meio de Geração Aumentada por Recuperação (RAG), possibilitando a geração de recomendações contextualmente fundamentadas e personalizadas sem a necessidade de retreinamento custoso do modelo. Para avaliar sistematicamente a qualidade das recomendações, foi conduzido um estudo de ablação controlado composto por 35 configurações experimentais, organizadas em nove grupos, cada um isolando uma única variável do pipeline: modelo de embeddings, estrutura do documento, modelo de linguagem, tamanho da recuperação, estratégia de segmentação de nós, abordagem de recuperação e reranqueamento por codificador cruzado. Os experimentos foram avaliados por meio de um conjunto de métricas específicas à tarefa, tanto para qualidade de geração - Validade da Resposta (RV), Pontuação de Justificativa Fundamentada (GJ), Cobertura de Perfil (PC) e Conformidade com Políticas (PL) - quanto para eficácia da recuperação, incluindo métricas baseadas em ranqueamento (Hit Rate, MRR, Precisão, nDCG) e métricas de sobreposição de tokens calculadas entre os perfis recuperados e o documento do estudante alvo. Para complementar essas métricas automatizadas, uma avaliação suplementar baseada em LLM-as-judge foi conduzida sobre três configurações selecionadas, utilizando o modelo gemma2:9b implantado localmente para avaliar a qualidade das recomendações nas dimensões de especificidade, aplicabilidade, qualidade da justificativa e utilidade geral, em uma escala de 1 a 3. A configuração de melhor desempenho (llama3.1:8b com RAG) obteve pontuação média de 1,638, superando substancialmente o modelo de referência (llama3.2:1b com RAG, média 1,015) e a ablação sem RAG (média 1,047), com os maiores ganhos observados em aplicabilidade e utilidade geral. Os resultados indicam que as escolhas de projeto do pipeline têm impacto substancial na qualidade das recomendações, com variação particularmente expressiva observada na seleção do modelo de linguagem e do modelo de embeddings. Os achados fornecem orientações empíricas sobre a configuração de pipelines RAG para aplicações educacionais em domínios específicos nos quais o ajuste fino do modelo não é uma opção viável. Além da contribuição técnica, o sistema proposto tem o potencial de beneficiar diretamente tanto educadores quanto estudantes ao transformar dados escolares já existentes em orientações estruturadas e acionáveis, ainda, o sistema permite reduzir o esforço analítico manual exigido dos professores e apoiar decisões de intervenção mais sistemáticas e baseadas em evidências que é o que a literatura associa à melhoria das taxas de retenção, à redução do risco de evasão e a melhores resultados acadêmicos.

MEMBROS DA BANCA:
Presidente - 1544992 - MARCELO COSTA OLIVEIRA
Interno(a) - 1963609 - BALDOINO FONSECA DOS SANTOS NETO
Externo(a) à Instituição - ELVYS ALVES SOARES - IFAL