Um conjunto multimodal de dados sobre sonolência usando vídeo, sinais biométricos e comportamentais

Por que permanecer acordado ao volante importa

A condução com sonolência é uma ameaça oculta nas estradas, contribuindo para milhares de acidentes todos os anos. Costumamos imaginar adormecer subitamente, mas na realidade a sonolência avança gradualmente: o ritmo cardíaco diminui, a firmeza da pegada afrouxa, a postura se curva e os olhos pesam muito antes de realmente cochilarmos. Este artigo descreve um novo conjunto de dados público projetado para capturar esses sinais sutis e precoces em grande detalhe, fornecendo aos pesquisadores o material bruto necessário para construir sistemas mais inteligentes que possam, um dia, avisar os motoristas antes que ocorra uma tragédia.

Um novo olhar sobre motoristas sonolentos

A maioria das coleções existentes de dados sobre sonolência do motorista foca em apenas um tipo de sinal, como vídeo do rosto ou registros de ondas cerebrais. O novo Conjunto de Dados de Sonolência da Universidade da Louisiana (UL-DD) adota uma visão mais ampla. Dezenove voluntários dirigiram um simulador de caminhão em laboratório enquanto uma densa rede de câmeras e sensores vestíveis registrava seu comportamento e sinais corporais. Cada pessoa completou uma sessão totalmente alerta e outra já sentindo sono, produzindo gravações contínuas com cerca de 40 minutos por sessão e totalizando aproximadamente 1.400 minutos de dados de direção. Em vez de rotular os motoristas simplesmente como “alerta” ou “sonolento”, o estudo solicitou que eles avaliassem sua sonolência a cada quatro minutos em uma escala de nove níveis, capturando a lenta transição de totalmente acordado a lutando contra o sono.

O que os sensores viram e sentiram

A configuração observou os motoristas de múltiplos ângulos enquanto também “escutava” seus corpos. Uma câmera infravermelha monitorou detalhes faciais, funcionando bem mesmo em luz baixa; uma câmera de profundidade 3D capturou a forma e a distância da cabeça e da parte superior do corpo; e uma câmera colorida focou a postura. A partir desses vídeos, a equipe extraiu marcos faciais — pontos precisos ao redor dos olhos, boca e sobrancelhas — e “unidades de ação” faciais que descrevem expressões como fechamento dos olhos, movimento das sobrancelhas e bocejos. Outro algoritmo rastreou marcos de pose corporal para revelar encurvamento, inclinação da cabeça e outras mudanças de postura relacionadas à fadiga.

Lendo os sinais discretos do corpo

Ao mesmo tempo, dispositivos de pulso e um oxímetro de pulso mediram os sinais internos de cansaço. Atividade cardíaca e frequência do pulso, níveis de oxigênio no sangue, temperatura da pele, atividade elétrica associada ao suor, movimento e aceleração no pulso foram todos registrados em suas próprias taxas de amostragem. Sensores de pressão em ambos os lados do volante rastrearam quão firmemente cada mão segurava, enquanto o software do simulador registrava velocidade, comportamento de direção e mudanças de marcha dezenas de vezes por segundo. Todos esses fluxos foram cuidadosamente sincronizados para que, em qualquer instante da condução, os pesquisadores possam ver a combinação exata de expressão facial, postura, ritmo cardíaco, indícios respiratórios, força nas mãos e estilo de direção.

Verificando a qualidade dos sinais

Coletar dados só é útil se forem confiáveis, por isso os autores dedicaram considerável esforço à validação das gravações. Eles examinaram como os sinais corporais mudavam com sonolência baixa, média e alta, usando testes estatísticos adequados para dados que variam de pessoa para pessoa. Medidas como temperatura da pele, atividade de suor, saturação de oxigênio no sangue e frequência de pulso mudaram de maneira significativa à medida que os motoristas ficavam mais cansados, enquanto outras, como uma medida de fluxo sanguíneo, mostraram-se menos informativas. A equipe também verificou que as pontuações de sonolência autoavaliadas eram consistentes comparando-as com avaliações de um especialista em um subconjunto dos vídeos, encontrando forte concordância. Análises sinal-ruído mostraram que a maioria dos sensores, especialmente os relacionados ao coração, produziu dados limpos, e verificações de vídeo confirmaram que quadros não estavam sendo perdidos.

Quão bem sinais combinados detectam a sonolência?

Para verificar se essa rica mistura de informações poderia realmente ajudar a detectar sonolência, os autores treinaram vários modelos de aprendizado de máquina em diferentes combinações de sinais. Quando usaram apenas um tipo de dado — por exemplo, biometria, pressão de pegada ou características faciais — os resultados foram modestos. Mas quando combinaram informações biométricas, comportamentais e faciais, o desempenho aumentou drasticamente. Uma abordagem moderna de fusão que aprende como os diferentes tipos de dados interagem alcançou uma precisão de cerca de 88% ao classificar motoristas como alertas, moderadamente sonolentos ou muito sonolentos. Isso sugere que nenhum único indício é suficiente; em vez disso, a fadiga se revela com mais clareza quando muitos pequenos sinais são entrelaçados.

O que isso significa para estradas mais seguras

O conjunto de dados UL-DD não fornece um detector de sonolência pronto para uso e tem limites: os voluntários foram relativamente poucos, em sua maioria do sexo masculino, dirigiram em um simulador em vez de rodovias reais, e o estudo não incluiu gravações cerebrais diretas. Ainda assim, ao disponibilizar uma coleção detalhada, bem rotulada e totalmente sincronizada de sinais faciais, corporais e de direção, os autores oferecem a cientistas e engenheiros um poderoso banco de testes. Com ele, podem explorar quão cedo nossos corpos começam a sinalizar perigo, refinar algoritmos que combinam múltiplas pistas e aproximar-se de sistemas a bordo que intervenham suavemente antes que um momento de sono se transforme em tragédia.

Citação: Bodaghi, M., Hosseini, M., Gottumukkala, R. et al. A multimodal drowsiness dataset using video, biometric, and behavioral data. Sci Data 13, 506 (2026). https://doi.org/10.1038/s41597-025-06540-1

Palavras-chave: sonolência do motorista, sensoriamento multimodal, biometria vestível, simulador de direção, segurança viária