Hacia una evaluación basada en competencias precisa e interpretable: mejorando la evaluación de la competencia clínica mediante IA multimodal y detección de anomalías

Por qué importa una formación más inteligente para médicos

Cuando los médicos se entrenan para manejar emergencias médicas, su desempeño suele ser evaluado por examinadores humanos que les observan en escenarios simulados. Estas calificaciones son fundamentales para la seguridad del paciente, pero pueden ser subjetivas, variar entre evaluadores y ser demasiado toscas para indicar a los residentes qué deben mejorar concretamente. Este estudio presenta un nuevo sistema de inteligencia artificial (IA) que observa y escucha durante simulaciones de anestesia de alta fidelidad y convierte lo que ve y oye en una medida objetiva e interpretable de competencia clínica. El objetivo no es reemplazar a los docentes expertos, sino ofrecerles una lente más precisa, justa y detallada sobre cómo se comportan los residentes bajo presión.

Observar emergencias desde múltiples ángulos

Los investigadores se centraron en simulaciones de cuidados críticos usadas para preparar a residentes de anestesia en Israel para su examen nacional. Noventa residentes de 17 hospitales gestionaron crisis potencialmente mortales en un entorno realista de quirófano con un maniquí de cuerpo entero, una enfermera y un interno. Cada escenario se desarrolló en cuatro etapas: un periodo inicial estable, una fase de deterioro rápido, una reanimación activa siguiendo protocolos estándar de soporte vital y, finalmente, estabilización y entrega del paciente. A lo largo de todo el proceso, cámaras grabaron la sala y el monitor del paciente, micrófonos captaron el habla y la pantalla de signos vitales se digitalizó. Anestesiólogos certificados por la junta otorgaron luego a cada residente una clasificación global de desempeño del 1 (pobre) al 5 (ejemplar).

Convertir el comportamiento en flujos de datos

Para hacer esta escena rica analizables por IA, el equipo transformó los vídeos y el audio en señales sincronizadas en series temporales. Una vía rastreó cuándo la mirada del residente se dirigía al monitor del paciente, usando detección facial y estimación del objetivo de la mirada. Una segunda estimó dónde se situaba y cómo se movía el residente en la sala, basada en la pose corporal tridimensional. Una tercera marcó cuándo hablaba el residente, tras limpiar el audio para aislar su voz del ruido de fondo. Finalmente, los investigadores leyeron la frecuencia cardíaca, la presión arterial, la frecuencia respiratoria y la saturación de oxígeno cambiantes directamente de la pantalla del monitor mediante reconocimiento óptico de caracteres, produciendo curvas continuas del estado fisiológico. Todos estos canales se alinearon fotograma a fotograma, generando un retrato detallado, momento a momento, de cómo los residentes miraban, se movían, hablaban y respondían a la condición del paciente.

Aprender cómo se ve lo “similar a un experto”

En lugar de enseñar a la IA a copiar las puntuaciones humanas directamente, los autores emplearon un modelo de detección de anomalías llamado MEMTO, diseñado originalmente para detectar patrones inusuales en series temporales complejas. Primero, entrenaron MEMTO únicamente con las mejores actuaciones—residentes clasificados con 5—para aprender cómo se comporta de forma “ideal” a lo largo del tiempo en todas las señales. Una vez establecido este referente, el modelo procesó la simulación de cada residente y produjo una puntuación de anomalía en cada instante, que reflejaba cuánto se desviaba ese momento del patrón experto. Esas puntuaciones de anomalía se agregaron y mapearon de forma continua a la familiar escala de 1–5, de modo que desviaciones menores respecto de la plantilla experta generaban puntuaciones de competencia más altas.

Qué aprendió la IA sobre el buen desempeño

El enfoque multimodal—combinando mirada, movimiento, habla y signos vitales—demostró ser crucial. Cuando se entrenó con residentes de la más alta calificación, las puntuaciones del modelo se alinearon estrechamente con las evaluaciones de los expertos, con fuertes correlaciones y medidas de consistencia, y ordenaron a los residentes casi en el mismo orden que los examinadores humanos. En contraste, apoyarse en una única vía, como solo la mirada, produjo una concordancia mucho más débil. Entrenar el modelo con las actuaciones peores también condujo a una peor alineación, lo que subraya que los puntos de referencia deben anclarse en el comportamiento experto y no en errores comunes. Para hacer comprensibles las decisiones del sistema, el equipo utilizó un método de explicación conocido como SHAP, que destaca qué entradas influyeron más en las puntuaciones de anomalía. La comunicación y el contacto visual con el monitor surgieron como especialmente importantes, particularmente durante la escalada de la crisis y la reanimación activa, mientras que los signos vitales resultaron más influyentes durante la estabilización.

Qué significa esto para la formación médica futura

Este trabajo muestra que la IA puede llevar la formación clínica más allá de listas de verificación simples o calificaciones de aprobado/suspenso al capturar cómo se comportan los aprendices segundo a segundo en emergencias realistas. Al comparar a cada residente con un retrato impulsado por datos del desempeño experto, el sistema puede señalar cuándo la comunicación falla, la atención al monitor disminuye o las respuestas a los signos vitales cambiantes se alejan del patrón—información que puede guiar retroalimentación más rica y específica por fase en las sesiones de debriefing. Los autores enfatizan que tales herramientas deben complementar, no sustituir, el juicio humano y deben desplegarse con cuidado, con sólidas protecciones de privacidad y controles de equidad. Aun así, sus resultados sugieren un camino hacia evaluaciones más objetivas, transparentes y pedagógicamente útiles que pueden escalarse entre programas de formación y, en última instancia, contribuir a que la atención del paciente en el mundo real sea más segura.

Cita: Gershov, S., Mahameed, F., Raz, A. et al. Towards accurate and interpretable competency-based assessment: enhancing clinical competency assessment through multimodal AI and anomaly detection. npj Digit. Med. 9, 219 (2026). https://doi.org/10.1038/s41746-025-02299-2

Palabras clave: evaluación de competencia clínica, simulación médica, IA multimodal, detección de anomalías, educación médica