Aprendizado por reforço multiagente hierárquico para perguntas em documentos industriais com recuperação aumentada

Ajuda mais inteligente para manuais complexos

Indústrias modernas, como redes elétricas e manufatura, dependem de manuais volumosos, diagramas de circuito e tabelas de parâmetros para manter equipamentos funcionando com segurança. Quando operadores têm perguntas urgentes — por exemplo, por que um alarme está tocando ou qual chave acionar — a resposta frequentemente está enterrada em algum lugar desses documentos longos e em formatos mistos. Este artigo apresenta um novo sistema de IA, chamado MARL‑RAGDoc, projetado para vasculhar essas informações emaranhadas e fornecer respostas precisas e bem fundamentadas em vez de suposições.

Por que IA comum se perde em manuais reais

A maioria dos sistemas de perguntas e respostas atuais funciona bem quando toda a informação é texto simples, como um artigo on‑line. Documentos industriais são muito diferentes: eles misturam texto, diagramas, fluxogramas e tabelas distribuídos por dezenas de páginas. Perguntas diferentes dependem de partes diferentes — imagens podem ser importantes para fiação, enquanto tabelas importam para especificações ou ajustes. Sistemas existentes geralmente tratam todos os tipos de conteúdo da mesma forma, extraem um número fixo de trechos e então geram uma resposta. Como não conseguem ajustar quanto confiam em cada tipo de conteúdo nem o quão profundamente buscam conforme a pergunta, frequentemente perdem evidências cruciais, recuperam muito material irrelevante e às vezes “alucinam” respostas não suportadas pelos documentos.

Uma equipe de ajudantes de IA especializados

O MARL‑RAGDoc enfrenta esse problema tratando a busca em documentos como um jogo cooperativo jogado por vários “agentes” de IA, cada um com um papel diferente. Primeiro, o sistema divide a coleção de documentos em muitos pedaços pequenos: blocos de texto, imagens e tabelas, cada um marcado com sua posição na página e sua função (como título ou legenda). Esses pedaços são mapeados para um espaço matemático compartilhado para que itens relacionados de formatos diferentes fiquem próximos. Em seguida, para uma dada pergunta, o sistema constrói listas curtas de candidatos promissores dentro de cada formato — como os principais blocos de texto, imagens e tabelas que podem conter a resposta.

Um coordenador que aprende onde procurar

No coração do MARL‑RAGDoc está um agente coordenador de alto nível que decide quanta atenção dedicar a cada tipo de conteúdo e quantas etapas de busca são necessárias. Abaixo desse coordenador estão três agentes especializados, um para texto, um para imagens e um para tabelas. Esses agentes escolhem quais candidatos manter, quando olhar material vizinho (como o restante de uma linha de tabela ou a legenda sob uma imagem) e quando parar de buscar. O essencial é que todas essas decisões são aprendidas por meio de aprendizado por reforço: os agentes recebem recompensas com base tanto em quão bem recuperaram evidências relevantes quanto na qualidade da resposta final. Com o tempo, o sistema aprende estratégias como confiar mais em tabelas para consultas numéricas ou mais em diagramas para perguntas sobre disposição espacial.

Das evidências a respostas confiáveis

Uma vez que os agentes montaram suas melhores evidências, um grande modelo de linguagem recebe a pergunta junto com os textos, imagens e tabelas selecionados, ponderados por sua importância. Ele então produz uma resposta e uma pontuação de qualidade que reflete quão completa e bem fundamentada a resposta parece ser. Se a pontuação for baixa, o sistema pode acionar outra rodada de recuperação, pedindo aos agentes que reúnam material suplementar antes de tentar novamente. Esse ciclo de “recuperar–raciocinar–refletir” permite que o MARL‑RAGDoc se corrija quando a primeira tentativa é incerta, reduzindo o risco de preencher lacunas com suposições não suportadas. O mesmo ciclo também retroalimenta o treinamento, ensinando aos agentes quais padrões de recuperação tendem a levar a respostas fortes.

Colocando o sistema à prova

Os pesquisadores avaliaram o MARL‑RAGDoc em três coleções exigentes de documentos multimodais, incluindo dois benchmarks públicos e um novo conjunto de dados da indústria de energia que construíram a partir de manuais reais, diretrizes e relatórios técnicos. Em todas as três, o novo sistema superou uma série de concorrentes fortes, desde modelos multimodais de uso geral até sistemas especializados de compreensão de documentos e recuperação aumentada. Ele apresentou melhorias de aproximadamente 5–9 pontos percentuais na precisão geral e ganhos semelhantes em medidas mais rigorosas que exigem correspondências exatas e ranqueamento precoce de respostas corretas. Os benefícios foram especialmente evidentes para documentos muito longos, de várias páginas, e perguntas que exigiam combinar informações de texto, tabelas e diagramas.

O que isso significa para operadores no mundo real

Em termos práticos, o MARL‑RAGDoc é como uma equipe de assistentes treinados que sabem folhear enormes pastas de material técnico, consultar os diagramas ou tabelas certos para cada pergunta e conferir seu trabalho antes de responder. Ao decidir dinamicamente quais partes de um documento importam mais e aprender com feedback, ele oferece respostas mais precisas e melhor justificadas do que abordagens de tamanho único. Embora o estudo foque em documentos de sistemas de energia, a mesma estrutura poderia ajudar trabalhadores em muitos campos — de técnicos de fábrica a funcionários de hospitais — a navegar por manuais complexos de forma rápida e segura.

Citação: Qian, Y., Han, B., Yuan, Y. et al. Hierarchical multi-agent reinforcement learning for retrieval-augmented industrial document question answering. Sci Rep 16, 13512 (2026). https://doi.org/10.1038/s41598-026-41684-z

Palavras-chave: QA de documentos industriais, recuperação multimodal, agentes de aprendizado por reforço, geração com recuperação aumentada, manuais técnicos