Um arcabouço do mundo real para reconhecimento automatizado de produtos e geração de catálogos: conjunto de dados, modelo e análise

Prateleiras mais inteligentes para consumidores ocupados

Quem já procurou uma caixa específica de cereal ou usou um caixa de autoatendimento sabe que as prateleiras das lojas são locais cheios e confusos. Este artigo explora como computadores podem olhar para prateleiras comuns de supermercado e reconhecer automaticamente o que há nelas, usando fotos ordinárias em vez de códigos de barras. O objetivo é tornar tarefas como contagem de inventário, criação de catálogos e até busca de produtos por telefone mais rápidas, baratas e menos dependentes de trabalho manual.

Por que prateleiras são difíceis para computadores

À primeira vista, ensinar um computador a identificar produtos pode parecer simples: basta mostrar muitas imagens de cada item. Na prática, cenas de supermercado são bagunçadas. Produtos aparecem em muitos tamanhos, desde fotos de perto na mão de um cliente até visões distantes de câmeras de segurança. Embalagens são parecidas, diferem por pequenos detalhes e podem estar parcialmente cobertas por outras. A iluminação muda, prateleiras são reorganizadas e marcas variam entre regiões. Coleções de imagens existentes para pesquisa frequentemente ignoram esses problemas, usando números pequenos de produtos, iluminação controlada ou apenas imagens de close-up. Isso dificulta desenvolver sistemas que realmente funcionem em lojas reais.

Uma nova coleção realista de imagens de supermercado

Para fechar essa lacuna, os autores construíram uma nova coleção de imagens chamada Grocer-Help. Ela contém 13.771 fotos mostrando cerca de 4.000 produtos distintos agrupados em 349 classes baseadas em marcas. As imagens vêm de oito lojas em cinco estados da Índia, capturadas com seis tipos de câmeras móveis. As cenas variam de close-ups de poucos itens a vistas de corredor inteiro, e incluem peculiaridades do dia a dia como reflexo, desfoque por movimento, fundos confusos e bloqueio parcial de rótulos. Cada produto na imagem é cuidadosamente marcado com uma caixa ao redor, resultando em mais de 166.000 itens anotados. O conjunto de dados é dividido em três tipos principais de imagens: close-shot, long-shot e fotos limpas de catálogos online, que juntos permitem estudar como a distância de visualização e o estilo de captura afetam o reconhecimento.

Um modelo enxuto que enxerga em muitas escalas

Junto com o conjunto de dados, os autores apresentam um modelo compacto de detecção projetado para lidar com produtos em muitos tamanhos na mesma cena. Em vez de tratar itens pequenos e grandes separadamente, o modelo usa um bloco construtivo especial que agrega pistas visuais através de várias escalas ao mesmo tempo. Em seguida, empilha essas pistas em uma pirâmide de mapas de características, onde cada camada foca em diferentes níveis de detalhe. Isso ajuda o sistema a seguir produtos desde vistas distantes de prateleiras até diferenças finas entre embalagens semelhantes. O modelo também foi pensado para ser eficiente: usa operações mais leves para poder rodar em dispositivos com poder de processamento limitado, tornando-o mais adequado para uso em lojas ou em hardware de consumo.

Testes entre conjuntos de dados, lojas e distâncias

Os pesquisadores comparam seu modelo com sistemas populares de detecção de objetos como várias versões do YOLO e RetinaNet em diversos conjuntos de dados de supermercado existentes e no Grocer-Help. No novo conjunto, seu modelo atinge uma pontuação sólida para encontrar corretamente produtos enquanto usa menos parâmetros que muitos concorrentes. Ele alcança precisão e recall particularmente fortes, o que significa que evita alarmes falsos e não perde itens, embora suas caixas às vezes sejam menos apertadas quando avaliadas por regras de sobreposição muito rigorosas. Testes detalhados revelam que o desempenho depende de como as imagens são capturadas: imagens de close-up são as mais fáceis, vistas de prateleira a longa distância são mais difíceis, e misturar fotos de catálogo online no treinamento pode prejudicar os resultados porque elas parecem muito diferentes das cenas reais de loja. Comparações loja a loja também mostram que prateleiras organizadas e embalagens em caixa tendem a favorecer o detector.

O que isso significa para o varejo do dia a dia

Em termos práticos, este trabalho mostra como avançar além da simples leitura de código de barras em direção a sistemas baseados em câmera que podem “ver” prateleiras lotadas. Ao oferecer um conjunto de dados grande e realista e um modelo eficiente que lida com produtos em diferentes tamanhos e pontos de vista, o estudo fornece uma base para ferramentas práticas como verificações automáticas de inventário, construção de catálogos a partir de prateleiras e aplicativos móveis de compra mais inteligentes. Embora ainda existam desafios, especialmente em cenas muito apertadas e para produtos vistos poucas vezes no treinamento, o Grocer-Help e o modelo omniescalar aproximam o reconhecimento automatizado de produtos do uso cotidiano no varejo real.

Citação: Sah, M., Mathew, J. & Dayananda, P. A real-world framework for automated product recognition and catalog generation: dataset, model, and analysis. Sci Rep 16, 14834 (2026). https://doi.org/10.1038/s41598-026-42266-9

Palavras-chave: reconhecimento de produtos de supermercado, detecção de objetos, visão computacional no varejo, conjunto de dados de referência, automação de inventário