Recuperação de erros generativa com reconhecimento de estado para assembly em realidade estendida
Realidade Estendida; Recuperação de Erros; Planejamento Automático; PDDL; Filtro Bayesiano; Assembly Assistido
A Realidade Aumentada (RA) tem se mostrado eficaz para fornecer instruções espaciais em tarefas de montagem industrial, mas os sistemas de tutoria em RA do estado da arte lidam mal com o momento em que o usuário se desvia da sequência esperada: frameworks recentes detectam que um erro ocorreu, mas a correção continua reativa, limitada a animações pré-roteirizadas que não cobrem estados imprevistos. Este trabalho propõe um agente de tutoria em RA que gera a correção do erro em vez de apenas detectá-lo, combinando estimação probabilística de estado com planejamento automático em PDDL (Planning Domain Definition Language). O estado do workspace é mantido como uma crença bayesiana por tipo de peça, robusta a observações ruidosas; ao divergir do estado esperado, essa crença alimenta um planejador PDDL que sintetiza dinamicamente o plano de recuperação, inclusive quando isso exige desmontar uma peça colocada fora de ordem em vez de seguir um roteiro fixo. O desenvolvimento é dividido em duas fases. A Fase 1, um MVP da lógica central com filtro bayesiano e planejador, validado em simulação de Realidade Virtual (RV) sobre um estudo de caso de montagem LEGO, já está concluída. O agente detecta sequências de erro forçadas e gera planos de recuperação funcionais. Em paralelo, uma prova de conceito da camada de percepção, treinada com dados sintéticos gerados por domain randomization, atingiu um bom resultado na detecção das peças, medido sobre renders sintéticos, servindo como limite superior até a avaliação com câmera real. A Fase 2, prevista, substitui os dados simulados por percepção real utilizando visão computacional e rastreamento de mãos e avalia o sistema por meio de testes de usabilidade com participantes humanos, medindo tempo de recuperação e carga cognitiva frente a tutoriais estáticos tradicionais.