Vers une évaluation basée sur les compétences, précise et interprétable : améliorer l’évaluation des compétences cliniques par l’IA multimodale et la détection d’anomalies

Pourquoi une formation plus intelligente pour les médecins est importante

Lorsque les médecins s’entraînent à gérer des urgences médicales, leurs performances sont souvent évaluées par des examinateurs humains qui les observent dans des scénarios simulés. Ces évaluations sont essentielles pour la sécurité des patients, mais elles peuvent être subjectives, varier selon les évaluateurs et être trop grossières pour indiquer précisément aux stagiaires ce qu’ils doivent améliorer. Cette étude présente un nouveau système d’intelligence artificielle (IA) qui regarde et écoute lors de simulations d’anesthésie à haute fidélité et convertit ce qu’il voit et entend en une mesure objective et interprétable de la compétence clinique. L’objectif n’est pas de remplacer les enseignants experts, mais de leur fournir une lentille plus précise, équitable et détaillée sur la manière dont les internes se comportent réellement sous pression.

Observer les urgences sous plusieurs angles

Les chercheurs se sont concentrés sur des simulations de soins critiques utilisées pour préparer les internes en anesthésie en Israël à leur examen national. Quatre‑vingt‑dix internes issus de 17 hôpitaux ont géré des crises mettant la vie en danger dans un environnement réaliste de bloc opératoire avec un mannequin corps entier, une infirmière et un interne. Chaque scénario se déroulait en quatre phases : une période initiale stable, une phase de détérioration rapide, une réanimation active selon les protocoles de support vital standard, puis la stabilisation et la passation. Pendant toute la durée, des caméras enregistraient la salle et le moniteur du patient, des microphones capturaient la parole, et l’affichage des signes vitaux était numérisé. Des anesthésistes certifiés par le conseil ont ensuite attribué à chaque interne un classement global de performance de 1 (médiocre) à 5 (exemplaire).

Transformer le comportement en flux de données

Pour rendre cette scène riche analysable par une IA, l’équipe a transformé les vidéos et l’audio en signaux synchronisés sous forme de séries temporelles. Un flux suivait quand le regard de l’interne se posait sur le moniteur du patient, en utilisant la détection du visage et l’estimation de la cible du regard. Un second estimait où l’interne se tenait et se déplaçait dans la salle, à partir de la pose corporelle tridimensionnelle. Un troisième signal marquait quand l’interne prenait la parole, après nettoyage de l’audio pour isoler sa voix du bruit de fond. Enfin, les chercheurs ont lu la fréquence cardiaque, la pression artérielle, la fréquence respiratoire et la saturation en oxygène directement depuis l’écran du moniteur à l’aide de la reconnaissance optique de caractères, produisant des courbes continues de l’état physiologique. Tous ces canaux ont été alignés image par image, offrant un portrait détaillé, instant par instant, de la manière dont les internes regardaient, bougeaient, parlaient et répondaient à l’état du patient.

Apprendre à quoi ressemble le « type expert »

Plutôt que d’apprendre à l’IA à reproduire directement les notes humaines, les auteurs ont utilisé un modèle de détection d’anomalies appelé MEMTO, conçu à l’origine pour repérer des motifs inhabituels dans des séries temporelles complexes. D’abord, ils ont entraîné MEMTO uniquement sur les meilleures performances — les internes classés 5 — pour apprendre à quoi ressemble le comportement « idéal » au fil du temps sur l’ensemble des signaux. Une fois cette référence établie, le modèle a analysé chaque simulation d’interne et produit, à chaque instant, un score d’anomalie reflétant l’écart du comportement observé par rapport au motif expert. Ces scores d’anomalie ont ensuite été agrégés et lissés pour être mappés sur l’échelle familière de 1 à 5, de sorte que des écarts plus faibles par rapport au modèle expert donnaient des scores de compétence plus élevés.

Ce que l’IA a appris sur une bonne performance

L’approche multimodale — combinant regard, mouvement, parole et signes vitaux — s’est révélée cruciale. En étant entraîné sur les internes les mieux classés, les scores du modèle se sont alignés étroitement avec les évaluations d’experts, montrant des corrélations et des mesures de consistance fortes, et il a ordonné les internes presque dans le même ordre que les examinateurs humains. En revanche, se fier à un seul flux, comme le regard uniquement, entraînait un accord beaucoup plus faible. L’entraînement du modèle sur les pires performances aboutissait aussi à un alignement moins bon, ce qui souligne que les références doivent être ancrées dans le comportement expert plutôt que dans les erreurs fréquentes. Pour rendre les décisions du système compréhensibles, l’équipe a utilisé une méthode d’explication connue sous le nom de SHAP, qui met en évidence les entrées ayant le plus influencé les scores d’anomalie. La communication et le contact visuel avec le moniteur sont apparus particulièrement importants, en particulier lors de l’escalade de la crise et de la réanimation active, tandis que les signes vitaux prenaient davantage d’influence lors de la stabilisation.

Ce que cela signifie pour la formation médicale future

Ce travail montre que l’IA peut faire évoluer la formation clinique au‑delà de simples listes de contrôle ou de notations pass‑fail en capturant comment les stagiaires se comportent réellement seconde après seconde lors d’urgences réalistes. En comparant chaque interne à un portrait de performance expert fondé sur les données, le système peut signaler quand la communication faiblit, quand l’attention au moniteur décline ou quand les réponses aux variations des signes vitaux dévient du modèle — des informations susceptibles d’orienter des retours plus riches et spécifiques à chaque phase lors des débriefings. Les auteurs insistent sur le fait que de tels outils doivent compléter, et non remplacer, le jugement humain, et qu’ils doivent être déployés avec soin, avec de fortes protections de la vie privée et des contrôles d’équité. Néanmoins, leurs résultats dessinent une voie vers des évaluations plus objectives, transparentes et pédagogiquement utiles, susceptibles d’être étendues aux programmes de formation et, ultimement, d’améliorer la sécurité des soins aux patients dans la pratique réelle.

Citation: Gershov, S., Mahameed, F., Raz, A. et al. Towards accurate and interpretable competency-based assessment: enhancing clinical competency assessment through multimodal AI and anomaly detection. npj Digit. Med. 9, 219 (2026). https://doi.org/10.1038/s41746-025-02299-2

Mots-clés: évaluation des compétences cliniques, simulation médicale, IA multimodale, détection d’anomalies, enseignement médical