Op weg naar nauwkeurige en interpreteerbare competentiegerichte beoordeling: het verbeteren van de beoordeling van klinische competentie door multimodale AI en anomaliedetectie

Waarom slimere training voor artsen ertoe doet

Wanneer artsen oefenen met het omgaan met medische noodsituaties, worden hun prestaties vaak beoordeeld door menselijke examinatoren die hen observeren in gesimuleerde scenario’s. Deze beoordelingen zijn cruciaal voor de patiëntveiligheid, maar ze kunnen subjectief zijn, variëren per beoordelaar en te grofmazig om trainees precies te laten zien wat ze moeten verbeteren. Deze studie introduceert een nieuw systeem van kunstmatige intelligentie (AI) dat kijkt en luistert tijdens hoogrealistische anesthesiesimulaties en wat het ziet en hoort omzet in een objectieve, interpreteerbare maat van klinische competentie. Het doel is niet om deskundige docenten te vervangen, maar hen een preciezere, eerlijkere en gedetailleerdere kijk te geven op hoe arts‑in‑opleiding zich daadwerkelijk gedragen onder druk.

Noodsituaties vanuit meerdere hoeken observeren

De onderzoekers concentreerden zich op intensive‑care‑simulaties die worden gebruikt om anesthesieresidenten in Israël voor te bereiden op hun nationale examen. Negentig residenten uit 17 ziekenhuizen gingen om met levensbedreigende crises in een realistische operatiekamersetting met een full‑body pop, een verpleegkundige en een stagiair. Elk scenario verliep in vier fasen: een aanvankelijke stabiele periode, een fase van snelle verslechtering, actieve reanimatie volgens standaard levensondersteuningsprotocollen, en tenslotte stabilisatie en overdracht. Gedurende het hele proces namen camera’s de ruimte en de patiëntmonitor op, namen microfoons spraak op, en werd het vitale‑teken‑display zelf gedigitaliseerd. Gecertificeerde anesthesiologen gaven vervolgens elke resident een algehele prestatierangschikking van 1 (slecht) tot 5 (uitmuntend).

Gedrag omzetten in datastromen

Om deze rijke scène door AI analyseerbaar te maken, transformeerde het team de video’s en audio naar gesynchroniseerde tijdreeks‑signalen. Eén stroom volgde wanneer de blik van een resident op de patiëntmonitor viel, met behulp van gezichtsdetectie en schatting van het blikdoel. Een tweede schatte waar de resident in de kamer stond en hoe hij of zij zich bewoog, op basis van driedimensionale lichaamshouding. Een derde markeerde wanneer de resident sprak, nadat de audio was opgeschoond om hun stem van achtergrondgeluid te isoleren. Ten slotte lazen de onderzoekers de veranderende hartslag, bloeddruk, ademhalingsfrequentie en zuurstofsaturatie rechtstreeks van het monitorscherm met optische tekenherkenning en produceerden zo continue curves van de fysiologische toestand. Al deze kanalen werden frame‑voor‑frame op elkaar afgestemd, wat een gedetailleerd, moment‑tot‑moment portret opleverde van hoe residenten keken, bewogen, spraken en reageerden op de toestand van de patiënt.

Leren hoe "expertachtig" eruitziet

In plaats van de AI te leren menselijke scores direct te kopiëren, gebruikten de auteurs een anomaliedetectiemodel genaamd MEMTO, oorspronkelijk ontworpen om ongebruikelijke patronen in complexe tijdreeksgegevens te herkennen. Eerst trainden ze MEMTO alleen op de beste prestaties—residenten met rang 5—om te leren hoe "ideaal" gedrag over tijd eruitziet over alle signalen heen. Zodra deze basislijn was vastgesteld, verwerkte het model elke simulatie van iedere resident en produceerde op elk moment een anomaliescore die weergeeft hoe ver het gedrag op dat ogenblik afweek van het expertpatroon. Deze anomaliescores werden vervolgens geaggregeerd en vloeiend afgebeeld op de vertrouwde schaal van 1–5, zodat lagere afwijkingen van het expert‑template resulteerden in hogere competentiescores.

Wat de AI leerde over goede prestaties

De multimodale aanpak—het combineren van blik, beweging, spraak en vitale tekens—bleek cruciaal. Wanneer het model werd getraind op top‑geëvalueerde residenten, sloegen de scores nauw aan bij de beoordelingen van experts, met sterke correlaties en consistente maatstaven, en sorteerde het de residenten vrijwel in dezelfde volgorde als menselijke beoordelaars. Ter vergelijking, vertrouwen op één enkele stroom, zoals alleen blik, gaf veel zwakkere overeenstemming. Het model trainen op de slechtste prestaties leidde eveneens tot slechtere afstemming, wat benadrukt dat referentiepunten verankerd moeten zijn in expertgedrag in plaats van in veelvoorkomende fouten. Om de beslissingen van het systeem begrijpelijk te maken, gebruikte het team een verklaringsmethode bekend als SHAP, die aangeeft welke inputs het meest bijdroegen aan de anomaliescores. Communicatie en oogcontact met de monitor bleken bijzonder belangrijk, vooral tijdens de escalatie van de crisis en actieve reanimatie, terwijl vitale tekens belangrijker werden tijdens de stabilisatiefase.

Wat dit betekent voor toekomstige medische training

Dit werk toont aan dat AI klinische training kan verplaatsen voorbij eenvoudige checklists of geslaagd‑/gezaktbeoordelingen door vast te leggen hoe trainees seconde‑voor‑seconde handelen in realistische noodgevallen. Door elke resident te vergelijken met een datagedreven portret van expertprestatie, kan het systeem signaleren wanneer communicatie hapert, de aandacht voor de monitor wegzakt of reacties op veranderende vitale waarden van het patroon afwijken—informatie die rijker, fase‑specifieke feedback in nabesprekingen kan sturen. De auteurs benadrukken dat dergelijke hulpmiddelen de menselijke beoordeling moeten aanvullen, niet vervangen, en zorgvuldig moeten worden ingezet met sterke privacybescherming en eerlijkheidscontroles. Hun resultaten wijzen echter op een pad naar meer objectieve, transparante en didactisch nuttige beoordelingen die opgeschaald kunnen worden binnen opleidingsprogramma’s en uiteindelijk kunnen bijdragen aan veiliger zorg in de praktijk.

Bronvermelding: Gershov, S., Mahameed, F., Raz, A. et al. Towards accurate and interpretable competency-based assessment: enhancing clinical competency assessment through multimodal AI and anomaly detection. npj Digit. Med. 9, 219 (2026). https://doi.org/10.1038/s41746-025-02299-2

Trefwoorden: beoordeling van klinische competentie, medische simulatie, multimodale AI, anomaliedetectie, medische opleiding