EPEE: auf dem Weg zu effizienten und effektiven Foundation-Modellen in der Biomedizin

Warum schneller denkende KI in der Medizin wichtig ist

Moderne künstliche Intelligenz kann medizinische Akten lesen und Bilder mit beeindruckender Fertigkeit auswerten, doch im klinischen Alltag zählt jede Sekunde. Ärztinnen und Ärzte in Notaufnahmen und Intensivstationen können nicht warten, während ein riesiges Modell langsam durch Dutzende Verarbeitungsschritte „nachdenkt“, besonders wenn diese zusätzlichen Schritte die Antwort nicht verbessern. Diese Studie stellt einen Ansatz vor, der großen medizinischen KI-Systemen hilft zu erkennen, wann sie bereits genug gesehen haben, um eine sichere, selbstbewusste Entscheidung zu treffen — so lassen sich Zeit und Rechenressourcen sparen, ohne die Genauigkeit zu opfern.

Das Problem langsamer und überkomplizierter KI

Große „Foundation“-Modelle treiben viele jüngste Fortschritte in der Gesundheitstechnologie voran. Sprachmodelle helfen beim Durchsuchen elektronischer Gesundheitsakten und Forschungsartikel, während Bildmodelle Bilder wie Röntgenaufnahmen und Gewebeschnitte analysieren. Diese Modelle bestehen jedoch aus vielen aufeinander gestapelten Schichten, die dieselbe Eingabe immer wieder verarbeiten. In der Praxis tragen die späteren Schichten oft nur wenig bei und können die Genauigkeit sogar verschlechtern — ein Problem, das die Autoren als Overthinking bezeichnen. Für eine Ärztin, die auf einen Risikoscore oder eine Warnung vor einer gefährlichen Wechselwirkung wartet, verwandelt sich dieses zusätzliche Rechnen des Computers in reale Verzögerungen und höhere Rechenkosten.

Einfachen Fällen früh das Aussteigen erlauben

Frühere Arbeiten schlugen „Early Exiting“ vor, bei dem ein Modell kleine Kontrollpunkte zwischen den Schichten einbaut. Wenn ein Kontrollpunkt bereits sehr sicher in seiner Vorhersage ist, kann das Modell dort stoppen, anstatt die Daten durch alle verbleibenden Schichten zu schicken. Eine Methodenfamilie entscheidet dabei anhand von Konfidenz: Wirkt die Vorhersage stark auf ein Ergebnis fokussiert, steigt das Modell aus. Diese Ansätze sind einfach und flexibel, können aber an Genauigkeit verlieren, wenn sie auf Geschwindigkeit getrimmt werden. Eine andere Familie verlangt, dass mehrere aufeinanderfolgende Schichten dieselbe Antwort liefern — eine „Patience“-Regel, die tendenziell die Genauigkeit schützt, aber empfindlich darauf reagiert, wie viele Übereinstimmungen erforderlich sind, was das Einstellen für unterschiedliche klinische Anforderungen erschwert.

Ein hybrider Early Exit namens EPEE

Die Autoren stellen EPEE vor, kurz für Entropy- and Patience-based Early Exiting, das diese beiden Ideen verbindet. An jeder Schicht eines Transformer-Modells wird ein leichter Klassifikator angebracht. Das System prüft zwei einfache Bedingungen: Ist die aktuelle Vorhersage sehr sicher, und haben sich die jüngsten Schichten konstant auf dieselbe Entscheidung geeinigt? Wenn eine der Bedingungen erfüllt ist, stoppt das Modell und liefert das Ergebnis. Durch Anpassen der Definition von „sicher“ und der Anzahl wiederholter Übereinstimmungen können Anwender sowohl Geschwindigkeit als auch Vorsicht feinjustieren. Wichtig ist, dass die Autoren zeigen, dass die früheren nur-konfidenz- und nur-patience-Methoden Sonderfälle dieser allgemeineren Strategie sind.

Tests mit realen medizinischen Texten und Bildern

Um zu prüfen, ob EPEE praktisch funktioniert, testete das Team es an drei Arten biomedizinischer Aufgaben: Klassifikation von Notizen oder Bewertungen, Identifikation von Beziehungen wie Arzneimittelwechselwirkungen und Extraktion medizinischer Ereignisse aus Texten. Sie nutzten acht verbreitete Foundation-Modelle, darunter Sprachmodelle wie BERT und GPT-2 sowie einen Vision Transformer für medizinische Bilder. Über zwölf Datensätze aus Intensivstationsakten, Patientenbewertungen, medizinischer Literatur und Bildsammlungen wie Thoraxröntgenaufnahmen und Blutzellpräparaten verglichen sie EPEE mit der standardmäßigen Volltiefen-Inferenz und früheren Early-Exit-Methoden. In vielen Fällen erreichte das Modell seine beste oder nahezu beste Genauigkeit bereits in mittleren Schichten, sodass das Erzwingen der Nutzung aller Schichten unnötig war. EPEE nutzte dies, indem es einfachen Fällen ein frühes Aussteigen erlaubte, während schwierigere Fälle weiterhin mehr Schichten durchliefen.

Das Abwägen von Geschwindigkeit und Zuverlässigkeit in der Klinik

Als die Forschenden die Laufzeit maßen, reduzierte EPEE durchgängig die Inferenzlatenz im Vergleich sowohl zu normalen Volltiefen-Modellen als auch zu früheren Early-Exit-Techniken und senkte dabei oft den effektiven Rechenaufwand, während die Genauigkeit erhalten blieb oder leicht verbessert wurde. Die Methode erforderte nur geringe Zusatzkosten beim Training und funktionierte ähnlich gut für Sprach- wie für Bildmodelle, einschließlich neuerer großer biomedizinischer Modelle. Da sich die beiden Einstellungen so anpassen lassen, dass sie einen gewünschten Kompromiss zwischen Geschwindigkeit und Korrektheit anvisieren, eignet sich EPEE besonders für Umgebungen wie die Intensivmedizin, wo schnelle Antworten entscheidend sind, Fehler aber hohe Kosten haben.

Was das für die zukünftige medizinische KI bedeutet

Kurz gesagt lehrt diese Arbeit große medizinische KI-Systeme, dann aufzuhören, wenn sie die Antwort bereits kennen, anstatt ihre Arbeit endlos immer wieder zu überprüfen. Indem zwei gängige Ausstiegsregeln zu einem flexiblen Rahmen kombiniert werden, zeigt EPEE, dass Krankenhäuser möglicherweise nicht noch größere Modelle brauchen, um bessere Leistung zu erzielen — sie brauchen vielleicht nur Modelle, die ihr vorhandenes Wissen klüger nutzen. Bei breiter Anwendung könnte diese Art der Early-Exit-Strategie dazu beitragen, leistungsfähige Text- und Bildmodelle in Echtzeit-Workflows der Klinik zu integrieren und dadurch schnellere, aber weiterhin verlässliche Entscheidungen am Krankenbett zu unterstützen.

Zitation: Zhan, Z., Zhou, S., Zhou, H. et al. EPEE: towards efficient and effective foundation models in biomedicine. npj Health Syst. 3, 30 (2026). https://doi.org/10.1038/s44401-026-00083-2

Schlüsselwörter: early exiting, biomedizinische KI, foundation-modelle, Modelleffizienz, klinische Entscheidungsunterstützung