Reconhecimento inteligente de padrões em bolsas bordadas: comparando as séries YOLO e RT-DETR

Por que as antigas bolsas bordadas importam hoje

Em toda a China, pequenas bolsas bordadas guardavam ervas, amuletos e votos de boa sorte. Hoje muitas sobrevivem apenas em gavetas de museus e coleções particulares. Cada pequena flor ou dragão bordado codifica histórias sobre crenças, moda e vida cotidiana. Ainda assim, digitalizar e catalogar manualmente esses objetos ricamente decorados é dolorosamente lento. Este estudo investiga como a inteligência artificial moderna pode reconhecer automaticamente os padrões dessas bolsas, ajudando museus e comunidades a preservar um importante ramo do patrimônio cultural imaterial na era digital.

Da mão e do olhar ao reconhecimento inteligente

Tradicionalmente, especialistas identificavam os desenhos das bolsas examinando fotos de perto e consultando livros de referência. Essa abordagem não escala para dezenas de milhares de itens espalhados por arquivos. Os pesquisadores, em vez disso, reuniram uma coleção de imagens especializada com 783 bolsas bordadas extraídas de livros e do arquivo digital de um grande museu. Definiram oito categorias de motivos comuns – incluindo plantas e flores, aves e animais, insetos e vida aquática, paisagens e edificações, símbolos e caracteres, figuras e narrativas, artefatos e antiguidades, e padrões geométricos – e desenharam cuidadosamente caixas ao redor de cada padrão em todas as imagens. Para combater o tamanho reduzido do conjunto de dados, eles inverteram digitalmente, rotacionaram, clarearam, escureceram e desfocaram as imagens, expandindo o material de treinamento mais de quatro vezes, ao mesmo tempo em que verificavam os rótulos com software e especialistas em patrimônio cultural.

Colocando ferramentas populares de IA à prova

Com esse conjunto de dados curado em mãos, a equipe comparou duas famílias de sistemas de detecção de objetos. Uma família, conhecida como YOLO, é amplamente usada para tarefas rápidas, como detectar pedestres ou carros em vídeo. Esses modelos analisam a imagem em uma única passagem e dependem fortemente de regiões locais. A outra, um design mais recente chamado RT-DETR, combina filtros de imagem convencionais com atenção no estilo transformer, que pode conectar pequenos pontos de costura ao contexto geral da cena. Os autores primeiro ajustaram várias variantes do YOLO e escolheram o YOLOv5m como uma baseline robusta. Ele teve desempenho razoável em algumas categorias – especialmente cenas narrativas complexas agrupadas em “Figuras e Narrativas” – mas teve dificuldades quando os motivos eram pequenos, fortemente sobrepostos ou se confundiam com o fundo. Nesses casos, flores podiam desaparecer, bordas geométricas eram mal interpretadas e porções da imagem eram etiquetadas incorretamente como fundo vazio.

Como um híbrido com transformer enxerga os pontos de costura

Os pesquisadores então se concentraram em aprimorar o RT-DETR para esse desafio visual incomum. Substituíram sua backbone padrão por ConvNeXt-Large, uma rede convolucional moderna projetada para capturar texturas finas mantendo a percepção do conjunto. Também adotaram uma estratégia de treinamento chamada Focal Loss, que instrui o modelo a dar atenção extra a exemplos difíceis e facilmente confundíveis em vez de se apoiar em exemplos fáceis. Dentro do RT-DETR, características da imagem da bolsa são extraídas em várias escalas e fundidas, enquanto um mecanismo de atenção conecta regiões distantes porém relacionadas, como pares correspondentes de animais ou bordas repetidas. Através de estudos de ablação cuidadosos e ajuste passo a passo de cronogramas de aprendizagem e regularização, os autores chegaram a uma configuração otimizada que equilibra precisão e estabilidade ao longo de muitas execuções de treinamento.

O que o sistema aprimorado realmente alcança

Avaliando por métricas padrão de detecção de objetos, o RT-DETR aprimorado superou claramente os modelos YOLO. Sua principal métrica de acurácia, mAP@0.5, chegou a 0,5433 – cerca de 33% de melhora sobre a baseline YOLOv5m – com estatísticas indicando que esse ganho provavelmente não é fruto do acaso. O sistema se saiu especialmente bem em cenas narrativas intrincadas, alcançando precisão média de 0,833 para “Figuras e Narrativas”, e recuperou muitos motivos que o YOLO deixou passar, particularmente em categorias esparsas ou sub-representadas, como paisagens e bordas geométricas. Também mostrou-se mais consistente ao longo de experimentos repetidos, indicando comportamento confiável em vez de um sobreajuste frágil a uma única divisão treino–teste. A compensação é o tamanho: o melhor modelo RT-DETR é muito maior e mais pesado do que seus equivalentes YOLO, o que pode limitar a implantação em dispositivos leves.

O que isso significa para o patrimônio cultural

Para não especialistas, a mensagem-chave é que os computadores estão aprendendo não apenas a encontrar carros e rostos, mas a ler a linguagem do artesanato tradicional. Ao demonstrar que um detector baseado em transformer, cuidadosamente adaptado e treinado, pode identificar motivos bordados densos e sobrepostos com mais precisão do que modelos em tempo real populares, este trabalho estabelece um marco para ferramentas futuras. Museus e instituições culturais poderiam, eventualmente, usar tais sistemas para buscar vastas coleções fotográficas por motivo, rastrear como certos símbolos evoluíram ou ajudar artesãos a reviver designs antigos. Os autores enfatizam que o desempenho ainda é moderado e que refinamentos adicionais – incluindo modelos mais leves e a inclusão de conhecimento cultural e descrições textuais – são necessários antes de um emprego em larga escala. Ainda assim, o estudo marca um passo significativo rumo a uma gestão digital inteligente e respeitosa do patrimônio das bolsas bordadas.

Citação: Yang, H., Sui, Q., Xie, H. et al. Intelligent recognition of embroidered purse patterns: comparing YOLO series and RT-DETR. npj Herit. Sci. 14, 251 (2026). https://doi.org/10.1038/s40494-026-02518-3

Palavras-chave: reconhecimento de padrões de bordado, patrimônio cultural imaterial, detecção de objetos, visão baseada em transformers, preservação digital