IA transparente para matemáticas: modelos de lenguaje grandes basados en transformadores para la extracción de relaciones entre entidades matemáticas con XAI

Por qué convertir problemas verbales en datos importa

Muchos recordamos las dificultades con los problemas verbales en clase de matemáticas: historias sobre mangos, equipos o paquetes de chocolates que en realidad describen ecuaciones. Para los ordenadores estos problemas son aún más difíciles, porque deben reconocer qué números intervienen y cómo se relacionan. Este artículo muestra cómo la tecnología lingüística moderna puede leer esas historias cotidianas de matemáticas, identificar la operación oculta—suma, división o incluso raíces cuadradas—y, lo que es crucial, explicar por qué llegó a esa conclusión. El resultado es un paso hacia herramientas más inteligentes y transparentes para la educación y el trabajo científico.

De historias a matemáticas estructuradas

En el núcleo de este estudio está la idea de que cada problema verbal matemático puede verse como una pequeña red de «cosas» y «vínculos». Las cosas son las cantidades (como «doce mangos» o «tres niños») y el vínculo es la operación que las conecta (como dividir, sumar o extraer una raíz cuadrada). El autor trata estos problemas como una tarea de «entidad–relación»: los números son entidades y la operación es la relación entre ellos. Al convertir oraciones desordenadas en esta estructura simple, los ordenadores pueden acercarse a cómo los humanos organizan internamente un problema matemático antes de resolverlo. Esta estructura también puede impulsar herramientas de búsqueda, mapas de conocimiento y asistentes automáticos que entiendan texto matemático en libros de texto o artículos de investigación.

Construyendo un conjunto de datos de historias matemáticas cotidianas

Para entrenar un sistema de inteligencia artificial que reconociera estas relaciones, el estudio necesitó primero ejemplos. El autor reunió un nuevo conjunto de datos combinando dos colecciones previas de textos matemáticos en bangla e inglés. De estas fuentes seleccionó oraciones en inglés e identificó cuidadosamente frases numéricas como «cinco mil cuarenta» como entidades matemáticas únicas, no simplemente palabras dispersas. Cada problema se emparejó con su ecuación correspondiente para etiquetar la relación entre dos cantidades clave como una de seis operaciones básicas: suma, resta, multiplicación, división, factorial o raíz cuadrada. Tras eliminar duplicados, limpiar símbolos residuales y simplificar el lenguaje mediante pasos como la eliminación de palabras vacías y la lematización, el conjunto de datos final contenía 3.284 enunciados matemáticos distintos con entidades y relaciones claramente marcadas.

Enseñar a los transformadores a leer problemas matemáticos

Con el conjunto de datos preparado, el siguiente paso fue evaluar potentes modelos de lenguaje basados en transformadores—la misma familia de modelos que ha transformado el procesamiento del lenguaje natural moderno. Se evaluaron varios candidatos: BERT, ELECTRA, RoBERTa, ALBERT, DistilBERT y XLNet. Cada modelo recibió el texto limpiado y se afinó para que su salida no fuera la solución completa del problema, sino simplemente el tipo de relación que conecta las dos cantidades principales. La evaluación usó medidas comunes como exactitud y puntuaciones F1 en datos de prueba retenidos. BERT resultó el claro ganador, identificando correctamente la relación en casi todos los casos, con una exactitud del 99,39%. Las curvas de aprendizaje mostraron que el modelo mejoró de forma constante sin sobreajustarse, y una matriz de confusión reveló solo un puñado de confusiones, mayormente entre operaciones similares como suma y resta o división y multiplicación.

Abrir la caja negra con explicaciones

Una alta exactitud por sí sola no es suficiente cuando se espera que los sistemas de IA apoyen el aprendizaje o la investigación. Los usuarios necesitan entender por qué se hizo una predicción determinada. Para abordar esto, el autor aplicó SHAP, un método popular de la IA explicable, al modelo BERT entrenado. SHAP asigna a cada palabra de una oración una puntuación de contribución que refleja cuánto empuja al modelo hacia o en contra de una operación específica. Al pasar problemas matemáticos no vistos por un explicador SHAP, el estudio produjo visualizaciones donde las palabras útiles brillan positivamente y las engañosas tiran en la dirección opuesta. Por ejemplo, palabras como «dividido», «igualmente» y «cada» apoyan fuertemente una predicción de división, mientras que palabras contextuales que no apuntan a la división reducen esa confianza. A lo largo de muchos ejemplos, el análisis mostró que el modelo se basaba más en palabras que indican la operación que en los propios números, reflejando cómo los humanos buscan indicios como «total», «de» o «raíz cuadrada» al interpretar un problema.

Qué implica esto para las futuras herramientas matemáticas

En términos sencillos, este trabajo demuestra que un modelo de lenguaje moderno puede entrenarse para leer historias matemáticas breves e identificar casi a la perfección la operación central que vincula los números, además de mostrar su razonamiento de forma comprensible para las personas. Al combinar una construcción cuidadosa del conjunto de datos, un modelo transformador potente y explicaciones basadas en SHAP, el estudio ofrece un marco transparente para convertir problemas narrativos en relaciones estructuradas. Este enfoque podría sustentar sistemas futuros que no solo resuelvan problemas, sino que también destaquen las frases clave, apoyen la comprobación automática de textos matemáticos y construyan mapas de conocimiento matemático ricos y navegables para estudiantes e investigadores por igual.

Cita: Aurpa, T.T. Transparent AI for mathematics: transformer-based large language models for mathematical entity relationship extraction with XAI. Sci Rep 16, 13038 (2026). https://doi.org/10.1038/s41598-026-43507-7

Palabras clave: problemas matemáticos verbales, modelos de lenguaje transformador, IA explicable, extracción de relaciones entre entidades, explicaciones SHAP