Mot mer exakt och tolkbar kompetensbedömning: förbättrad klinisk kompetensbedömning genom multimodal AI och avvikelsedetektion

Varför smartare utbildning för läkare är viktig

När läkare tränar för att hantera medicinska nödsituationer bedöms deras insatser ofta av mänskliga examinatorer som iakttar dem i simulerade scenarier. Dessa omdömen är avgörande för patientsäkerheten, men kan vara subjektiva, ojämna mellan bedömare och för grova för att visa vad en underläkare konkret behöver förbättra. Denna studie presenterar ett nytt system med artificiell intelligens (AI) som ser och lyssnar under högfidelity‑anestesisimuleringar och omvandlar det den ser och hör till ett objektivt, tolkbart mått på klinisk kompetens. Målet är inte att ersätta expertlärare, utan att ge dem ett mer precist, rättvist och detaljerat perspektiv på hur läkarkandidater faktiskt agerar under press.

Att iaktta nödsituationer ur flera vinklar

Forskarna koncentrerade sig på kritiska vårdsimuleringar som används för att förbereda anestesiolog‑kandidater i Israel inför deras nationella examensprov. Nittio läkarkandidater från 17 sjukhus hanterade livshotande kriser i en realistisk operationssal med en helkroppsmannekäng, en sköterska och en underläkare. Varje scenario utvecklades i fyra faser: en initial stabil period, en fas med snabb försämring, aktiv återupplivning enligt standardprotokoll för livsuppehållande åtgärder och slutligen stabilisering och överlämning. Under hela förloppet spelade kameror in rummet och patientmonitorn, mikrofoner fångade tal och vitaldisplayens data digitaliserades. Styrelsecertifierade anestesiologer gav därefter varje kandidat en samlad prestationsrankning från 1 (svagt) till 5 (föredömligt).

Att omvandla beteende till dataströmmar

För att göra denna rika scen analyserbar för AI omvandlade teamet video- och ljudinspelningarna till synkroniserade tidsseriesignaler. En kanal följde när en kandidat riktade blicken mot patientmonitorn, med hjälp av ansiktsdetektion och uppskattning av blickmål. En annan skattade var kandidaten stod och hur hen rörde sig i rummet, baserat på tredimensionell kroppspose. En tredje markerade när kandidaten talade, efter att ljudet rensats för att isolera deras röst från bakgrundsljud. Slutligen läste forskarna förändringar i hjärtfrekvens, blodtryck, andningsfrekvens och syremättnad direkt från monitorns skärm med optisk teckenigenkänning och skapade kontinuerliga kurvor för fysiologisk status. Alla dessa kanaler justerades bildruta för bildruta och gav en detaljerad, ögonblick‑för‑ögonblick‑porträtt av hur kandidater såg ut, rörde sig, talade och reagerade på patientens tillstånd.

Att lära vad ”expertlikt” ser ut som

I stället för att lära AI att kopiera människors poäng direkt använde författarna en avvikelsedetekteringsmodell kallad MEMTO, ursprungligen utvecklad för att upptäcka ovanliga mönster i komplexa tidsserier. Först tränade de MEMTO enbart på de bästa prestationerna—kandidater rankade 5—för att lära sig vad ”idealiskt” beteende över tid ser ut för alla signaler. När denna referens var etablerad bearbetade modellen varje kandidats simulering och producerade en avvikelsescore vid varje ögonblick, som speglade hur mycket beteendet i den stunden avvek från expertmönstret. Dessa avvikelsescores aggregerades sedan och kartlades smidigt till den välbekanta 1–5‑skalan, så att mindre avvikelser från expertmallen gav högre kompetenspoäng.

Vad AI:n lärde sig om god prestation

Det multimodala angreppssättet—att kombinera blick, rörelse, tal och vitala tecken—visade sig vara avgörande. När modellen tränades på topp‑rankade kandidater stämde dess poäng väl överens med experternas bedömningar, med starka korrelationer och konsistensmått, och den sorterade kandidater i nästan samma ordning som mänskliga examinatorer. Att förlita sig på en enda kanal, såsom bara blick, gav däremot mycket svagare överensstämmelse. Att träna modellen på de sämsta prestationerna ledde också till sämre anpassning, vilket understryker att referenser bör förankras i expertbeteende snarare än vanliga misstag. För att göra systemets beslut förståeliga använde teamet en förklaringsmetod känd som SHAP, som tydliggör vilka insatsvariabler som mest påverkade avvikelsescorerna. Kommunikation och ögonkontakt med monitorn framträdde som särskilt viktiga, framför allt under krisupptrappning och aktiv återupplivning, medan vitala tecken blev mer inflytelserika under stabiliseringsfasen.

Vad detta betyder för framtida medicinsk utbildning

Detta arbete visar att AI kan föra klinisk träning bortom enkla checklistor eller godkänd/ underkänd‑bedömningar genom att fånga hur kandidater faktiskt beter sig sekund för sekund i realistiska nödsituationer. Genom att jämföra varje kandidat med ett datadrivet porträtt av expertrelaterat beteende kan systemet markera när kommunikationen brister, uppmärksamheten mot monitorn sviktar eller responsen på förändrade vitala tecken ligger utanför mönstret—information som kan vägleda mer nyanserad, fas‑specifik återkoppling i debriefingar. Författarna betonar att sådana verktyg bör komplettera, inte ersätta, mänsklig bedömning och måste implementeras försiktigt, med starka integritetskydd och rättvisekontroller. Ändå pekar deras resultat mot en väg till mer objektiva, transparenta och pedagogiskt användbara bedömningar som kan skala över utbildningsprogram och i slutändan bidra till säkrare vård i verkliga situationer.

Citering: Gershov, S., Mahameed, F., Raz, A. et al. Towards accurate and interpretable competency-based assessment: enhancing clinical competency assessment through multimodal AI and anomaly detection. npj Digit. Med. 9, 219 (2026). https://doi.org/10.1038/s41746-025-02299-2

Nyckelord: klinisk kompetensbedömning, medicinsk simulering, multimodal AI, avvikelsedetektion, medicinsk utbildning