IA transparente para matemática: modelos de linguagem grandes baseados em transformadores para extração de relacionamentos entre entidades matemáticas com XAI

Por que transformar problemas em texto em dados importa

Muitos de nós lembramos de ter sofrido com problemas em texto na aula de matemática: histórias sobre mangas, equipes ou pacotes de chocolate que, na prática, descrevem equações. Para computadores esses problemas são ainda mais difíceis, pois eles precisam reconhecer quais números estão envolvidos e como se relacionam. Este artigo mostra como a tecnologia de linguagem moderna pode ler essas histórias matemáticas do cotidiano, identificar a operação oculta — adição, divisão ou até raízes quadradas — e, o que é crucial, explicar por que chegou a essa conclusão. O resultado é um passo em direção a ferramentas mais inteligentes e transparentes para educação e trabalho científico.

Das histórias para a matemática estruturada

No cerne deste estudo está a ideia de que cada problema em texto pode ser visto como uma pequena rede de “coisas” e “ligações”. As coisas são as quantias (como “doze mangas” ou “três crianças”) e a ligação é a operação que as conecta (como dividir, somar ou extrair raiz quadrada). O autor trata esses problemas como uma tarefa de “entidade–relação”: os números são entidades e a operação é a relação entre elas. Ao converter sentenças confusas nessa estrutura simples, os computadores podem se aproximar de como os humanos organizam internamente um problema matemático antes de resolvê‑lo. Essa estrutura também pode alimentar ferramentas de busca, mapas de conhecimento e assistentes automáticos que entendem texto matemático em livros didáticos ou artigos de pesquisa.

Construindo um conjunto de dados de histórias matemáticas cotidianas

Para treinar um sistema de inteligência artificial a reconhecer essas relações, o estudo precisou primeiro de exemplos. O autor reuniu um novo conjunto de dados combinando duas coleções anteriores de textos matemáticos em bengali e inglês. Dessas fontes, selecionaram‑se sentenças em inglês e identificaram cuidadosamente frases numéricas como “cinco mil e quarenta” como uma única entidade matemática, não apenas palavras dispersas. Cada problema foi pareado com sua equação correspondente para rotular a relação entre duas quantias chaves como uma de seis operações básicas: adição, subtração, multiplicação, divisão, fatorial ou raiz quadrada. Após remover duplicatas, limpar símbolos estranhos e simplificar a linguagem por meio de etapas como remoção de stop‑words e lematização, o conjunto final continha 3.284 enunciados matemáticos distintos com entidades e relações claramente marcadas.

Ensinando transformers a ler problemas matemáticos

Com o conjunto de dados pronto, o passo seguinte foi testar poderosos modelos de linguagem baseados em transformers — a mesma família de modelos que transformou o processamento moderno de linguagem natural. Vários concorrentes foram avaliados: BERT, ELECTRA, RoBERTa, ALBERT, DistilBERT e XLNet. Cada modelo recebeu o texto limpo e foi ajustado (fine‑tuned) de modo que sua saída não fosse a solução completa do problema, mas simplesmente o tipo de relação que conecta as duas quantias principais. A avaliação usou medidas comuns, como acurácia e F1, em dados de teste separados. O BERT destacou‑se como claro vencedor, identificando corretamente a relação em quase todos os casos, com acurácia de 99,39%. As curvas de aprendizado mostraram que o modelo melhorou de forma constante sem overfitting, e uma matriz de confusão revelou apenas alguns poucos erros, principalmente entre operações similares como adição e subtração ou divisão e multiplicação.

Abrindo a caixa‑preta com explicações

A alta acurácia por si só não é suficiente quando sistemas de IA devem apoiar ensino ou pesquisa. Usuários precisam entender por que uma previsão foi feita. Para tratar isso, o autor aplicou SHAP, um método popular de IA explicável, ao modelo BERT treinado. O SHAP atribui a cada palavra de uma sentença um escore de contribuição que reflete o quanto ela empurra o modelo em direção a ou contra uma operação específica. Ao submeter problemas matemáticos não vistos a um explicador SHAP, o estudo produziu visualizações onde palavras úteis brilham positivamente e palavras enganosas puxam na direção oposta. Por exemplo, palavras como “dividido”, “igualmente” e “cada” sustentam fortemente uma previsão de divisão, enquanto palavras contextuais que não apontam para divisão reduzem essa confiança. Em muitos exemplos, a análise mostrou que o modelo dependia mais de palavras indicativas da operação do que dos próprios números brutos, espelhando como humanos buscam pistas como “total”, “de” ou “raiz quadrada” ao interpretar um problema.

O que isso significa para futuras ferramentas matemáticas

Em termos simples, este trabalho demonstra que um modelo de linguagem moderno pode ser treinado para ler histórias matemáticas curtas e identificar quase perfeitamente a operação central que une os números, ao mesmo tempo em que mostra seu raciocínio de forma legível para humanos. Ao combinar construção cuidadosa do conjunto de dados, um forte modelo transformer e explicações baseadas em SHAP, o estudo oferece um arcabouço transparente para transformar problemas narrativos em relações estruturadas. Essa abordagem pode sustentar sistemas futuros que não apenas resolvem problemas, mas também destacam as frases-chave relevantes, apoiam a verificação automática de textos matemáticos e constroem mapas ricos e navegáveis do conhecimento matemático para estudantes e pesquisadores.

Citação: Aurpa, T.T. Transparent AI for mathematics: transformer-based large language models for mathematical entity relationship extraction with XAI. Sci Rep 16, 13038 (2026). https://doi.org/10.1038/s41598-026-43507-7

Palavras-chave: problemas de matemática em texto, modelos de linguagem transformer, IA explicável, extração de relações entre entidades, explicações SHAP