Rumo a uma avaliação baseada em competências precisa e interpretável: aprimorando a avaliação da competência clínica por meio de IA multimodal e detecção de anomalias

Por que treinamento mais inteligente para médicos importa

Quando médicos treinam para lidar com emergências médicas, seu desempenho costuma ser avaliado por examinadores humanos que os observam em cenários simulados. Essas avaliações são fundamentais para a segurança do paciente, mas podem ser subjetivas, variar entre avaliadores e ser muito pouco granulares para mostrar aos residentes exatamente o que devem melhorar. Este estudo apresenta um novo sistema de inteligência artificial (IA) que observa e escuta durante simulações de alta fidelidade em anestesia e converte o que vê e ouve em uma medida objetiva e interpretável de competência clínica. O objetivo não é substituir professores especialistas, mas fornecer a eles uma lente mais precisa, justa e detalhada sobre como os residentes realmente se comportam sob pressão.

Observando emergências por vários ângulos

Os pesquisadores concentraram‑se em simulações de cuidados críticos usadas para preparar residentes de anestesiologia em Israel para seu exame nacional de certificação. Noventa residentes de 17 hospitais gerenciaram crises que ameaçavam a vida em um ambiente realista de sala de operação com um manequim de corpo inteiro, uma enfermeira e um interno. Cada cenário se desenrolou em quatro estágios: um período inicial estável, uma fase de deterioração rápida, ressuscitação ativa usando protocolos padrão de suporte à vida e, finalmente, estabilização e passagem de plantão. Ao longo de todo o processo, câmeras gravaram a sala e o monitor do paciente, microfones captaram a fala e a tela de sinais vitais foi digitalizada. Anestesiologistas certificados então deram a cada residente uma classificação geral de desempenho de 1 (ruim) a 5 (exemplar).

Transformando comportamento em fluxos de dados

Para tornar essa cena rica analisável por IA, a equipe transformou os vídeos e áudios em sinais sincronizados em séries temporais. Um fluxo acompanhou quando o olhar do residente se voltava para o monitor do paciente, usando detecção de rosto e estimativa de alvo do olhar. Um segundo estimou onde o residente ficava e se movia na sala, com base na pose corporal tridimensional. Um terceiro assinalou quando o residente falava, após limpar o áudio para isolar sua voz do ruído de fundo. Por fim, os pesquisadores leram a variação da frequência cardíaca, pressão arterial, frequência respiratória e saturação de oxigênio diretamente da tela do monitor usando reconhecimento óptico de caracteres, produzindo curvas contínuas do estado fisiológico. Todos esses canais foram alinhados quadro a quadro, produzindo um retrato detalhado, momento a momento, de como os residentes olhavam, se moviam, falavam e respondiam à condição do paciente.

Aprendendo como é o comportamento “semelhante ao de especialistas”

Em vez de ensinar a IA a copiar diretamente as pontuações humanas, os autores usaram um modelo de detecção de anomalias chamado MEMTO, originalmente projetado para identificar padrões incomuns em séries temporais complexas. Primeiro, treinaram o MEMTO apenas com os melhores desempenhos—residentes classificados com 5—para aprender como é o comportamento “ideal” ao longo do tempo em todos os sinais. Com essa linha de base estabelecida, o modelo processou a simulação de cada residente e produziu uma pontuação de anomalia a cada momento, refletindo o quanto o comportamento daquele instante se desviava do padrão de especialistas. Essas pontuações de anomalia foram então agregadas e mapeadas suavemente para a escala familiar de 1–5, de modo que desvios menores em relação ao modelo de especialista resultavam em pontuações de competência mais altas.

O que a IA aprendeu sobre bom desempenho

A abordagem multimodal—combinando olhar, movimento, fala e sinais vitais—demonstrou ser crucial. Quando treinado nos residentes de classificação mais alta, as pontuações do modelo alinharam‑se estreitamente com as avaliações de especialistas, com fortes correlações e medidas de consistência, e classificaram os residentes quase na mesma ordem que os examinadores humanos. Em contraste, confiar em um único fluxo, como apenas o olhar, produziu uma concordância muito mais fraca. Treinar o modelo com os piores desempenhos também levou a um alinhamento inferior, ressaltando que os referenciais devem estar ancorados no comportamento de especialistas em vez de nos erros comuns. Para tornar as decisões do sistema compreensíveis, a equipe usou um método de explicação conhecido como SHAP, que destaca quais entradas mais influenciaram as pontuações de anomalia. Comunicação e contato visual com o monitor emergiram como especialmente importantes, particularmente durante a escalada da crise e a ressuscitação ativa, enquanto os sinais vitais ganharam maior influência durante a estabilização.

O que isso significa para o futuro do treinamento médico

Este trabalho mostra que a IA pode levar o treinamento clínico além de simples listas de verificação ou avaliações de aprovado/reprovado, capturando como os trainees realmente se comportam segundo a segundo em emergências realistas. Ao comparar cada residente com um retrato orientado por dados do desempenho de especialistas, o sistema pode sinalizar quando a comunicação falha, a atenção ao monitor diminui ou as respostas às mudanças nos sinais vitais seguem um padrão inadequado—informações que podem orientar feedbacks mais ricos e específicos por fase nas sessões de debriefing. Os autores enfatizam que tais ferramentas devem ampliar, e não substituir, o julgamento humano, e devem ser implantadas com cautela, com fortes proteções de privacidade e verificações de equidade. Ainda assim, seus resultados apontam para um caminho em direção a avaliações mais objetivas, transparentes e educacionalmente úteis, que podem ser escaladas em programas de formação e, em última instância, ajudar a tornar o atendimento ao paciente no mundo real mais seguro.

Citação: Gershov, S., Mahameed, F., Raz, A. et al. Towards accurate and interpretable competency-based assessment: enhancing clinical competency assessment through multimodal AI and anomaly detection. npj Digit. Med. 9, 219 (2026). https://doi.org/10.1038/s41746-025-02299-2

Palavras-chave: avaliação de competência clínica, simulação médica, IA multimodal, detecção de anomalias, educação médica