Aprendizaje por refuerzo multiagente jerárquico para preguntas y respuestas en documentos industriales mejoradas con recuperación

Ayuda más inteligente para manuales complejos

Industrias modernas como las redes eléctricas y la fabricación dependen de manuales voluminosos, diagramas de circuitos y tablas de parámetros para mantener el equipo en funcionamiento de forma segura. Cuando los operarios tienen preguntas urgentes—por ejemplo, por qué suena una alarma o qué interruptor accionar—la respuesta suele estar enterrada en algún lugar de estos largos documentos con formatos mixtos. Este artículo presenta un nuevo sistema de IA, llamado MARL‑RAGDoc, diseñado para rastrear esa información enmarañada y ofrecer respuestas precisas y bien fundamentadas en lugar de conjeturas.

Por qué la IA ordinaria se pierde en manuales reales

La mayoría de los sistemas actuales de preguntas y respuestas funcionan bien cuando toda la información es texto plano, como un artículo en línea. Los documentos industriales son muy distintos: combinan texto, diagramas, flujos y tablas distribuidos a lo largo de decenas de páginas. Diferentes preguntas dependen de distintas partes: las imágenes pueden importar para el cableado, mientras que las tablas importan para valores o ajustes. Los sistemas existentes suelen tratar todos los tipos de contenido igual, extraer un número fijo de fragmentos y luego generar una respuesta. Como no pueden cambiar cuánto confían en cada tipo de contenido ni cuánto profundizan la búsqueda según la pregunta, con frecuencia pasan por alto evidencias cruciales, recuperan mucho material irrelevante y a veces “alucinan” respuestas que no están respaldadas por los documentos.

Un equipo de asistentes de IA especializados

MARL‑RAGDoc aborda este problema tratándolo como un juego cooperativo de búsqueda en documentos jugado por varios “agentes” de IA, cada uno con un rol distinto. Primero, el sistema divide una colección de documentos en muchos fragmentos pequeños: bloques de texto, imágenes y tablas, cada uno etiquetado con su posición en la página y su función (como título o leyenda). Estos fragmentos se mapean en un espacio matemático compartido de modo que elementos relacionados de distintos formatos queden próximos. Luego, para una pregunta dada, el sistema construye listas cortas de candidatos prometedores dentro de cada formato—por ejemplo, los principales bloques de texto, imágenes y tablas que podrían contener la respuesta.

Un coordinador que aprende dónde mirar

En el corazón de MARL‑RAGDoc hay un agente coordinador de alto nivel que decide cuánta atención dar a cada tipo de contenido y cuántos pasos de búsqueda son necesarios. Bajo este coordinador hay tres agentes especializados, uno para texto, otro para imágenes y otro para tablas. Estos agentes eligen qué candidatos mantener, cuándo revisar material vecino (como el resto de una fila de tabla o la leyenda bajo una imagen) y cuándo detener la búsqueda. De forma crucial, todas estas decisiones se aprenden mediante aprendizaje por refuerzo: los agentes reciben recompensas basadas tanto en la calidad de la evidencia recuperada como en lo buena que es la respuesta final. Con el tiempo, el sistema aprende estrategias como confiar más en las tablas para consultas numéricas o más en los diagramas para preguntas sobre disposición espacial.

De la evidencia a respuestas fiables

Una vez que los agentes han reunido su mejor evidencia, un gran modelo de lenguaje recibe la pregunta junto con los textos, imágenes y tablas seleccionados, ponderados según su importancia. A continuación, genera una respuesta y una puntuación de calidad que refleja cuán completa y bien fundamentada parece ser esa respuesta. Si la puntuación es baja, el sistema puede desencadenar otra ronda de recuperación, pidiendo a los agentes que recojan material suplementario antes de intentarlo de nuevo. Este bucle de “recuperar–razonar–reflexionar” permite que MARL‑RAGDoc se corrija cuando el primer intento es inseguro, reduciendo el riesgo de que rellene huecos con conjeturas no fundamentadas. El mismo bucle también retroalimenta el entrenamiento, enseñando a los agentes qué patrones de recuperación tienden a conducir a respuestas sólidas.

Poniendo el sistema a prueba

Los investigadores evaluaron MARL‑RAGDoc en tres colecciones exigentes de documentos multimodales, incluidas dos referencias públicas y un nuevo conjunto de datos del sector eléctrico que construyeron a partir de manuales reales, directrices e informes técnicos. En los tres casos, el nuevo sistema superó a una serie de competidores sólidos, desde potentes modelos multimodales de propósito general hasta sistemas especializados de comprensión de documentos y de generación aumentada por recuperación. Logró mejoras de aproximadamente 5–9 puntos porcentuales en precisión global y ganancias similares en medidas más estrictas que requieren coincidencias exactas y un ranking temprano de respuestas correctas. Los beneficios fueron especialmente evidentes para documentos muy largos y de varias páginas y para preguntas que exigían combinar información de texto, tablas y diagramas.

Qué significa esto para los operarios del mundo real

En términos cotidianos, MARL‑RAGDoc es como un equipo de asistentes entrenados que saben hojear enormes carpetas de material técnico, consultar los diagramas o tablas adecuados para cada pregunta y verificar su trabajo antes de responder. Al decidir dinámicamente qué partes de un documento importan más y aprender a partir de la retroalimentación, ofrece respuestas más precisas y mejor justificadas que los enfoques únicos para todos. Aunque el estudio se centra en documentos de sistemas eléctricos, el mismo marco podría ayudar a trabajadores en muchos campos—desde técnicos de fábrica hasta personal hospitalario—a navegar por manuales complejos de manera rápida y segura.

Cita: Qian, Y., Han, B., Yuan, Y. et al. Hierarchical multi-agent reinforcement learning for retrieval-augmented industrial document question answering. Sci Rep 16, 13512 (2026). https://doi.org/10.1038/s41598-026-41684-z

Palabras clave: QA de documentos industriales, recuperación multimodal, agentes de aprendizaje por refuerzo, generación aumentada por recuperación, manuales técnicos