EPEE: w kierunku wydajnych i skutecznych modeli podstawowych w biomedycynie

Dlaczego szybsze myślenie AI ma znaczenie w medycynie

Nowoczesna sztuczna inteligencja potrafi z imponującą sprawnością czytać karty pacjentów i analizować obrazy medyczne, jednak w rzeczywistych warunkach szpitalnych każda sekunda ma znaczenie. Lekarze na oddziałach ratunkowych i intensywnej opieki nie mogą czekać, aż ogromny model powolnie „przemieli” dane przez dziesiątki kroków, zwłaszcza gdy dodatkowe warstwy nie poprawiają wyniku. W tym badaniu przedstawiono sposób, który pozwala dużym systemom medycznym rozpoznać, kiedy już widziały wystarczająco, by podjąć bezpieczną, pewną decyzję — oszczędzając czas i moc obliczeniową bez poświęcania dokładności.

Problem powolnej i nadmiernie komplikującej AI

Duże modele „podstawowe” stoją za wieloma ostatnimi postępami w technologii zdrowotnej. Modele językowe pomagają przeszukiwać elektroniczną dokumentację medyczną i artykuły naukowe, podczas gdy modele wizji analizują obrazy, takie jak rentgeny czy preparaty tkankowe. Modele te składają się jednak z wielu nałożonych warstw, które wielokrotnie przetwarzają te same dane. W praktyce późniejsze warstwy często wnoszą niewiele wartości, a nawet mogą pogorszyć dokładność — problem, który autorzy określają jako „przemyślenie” (overthinking). Dla lekarza czekającego na ocenę ryzyka lub ostrzeżenie o niebezpiecznej interakcji leków, to dodatkowe „myślenie” komputera przekłada się na realne opóźnienia i wyższe koszty obliczeniowe.

Pozwalanie prostym przypadkom wychodzić wcześniej

Wcześniejsze badania zaproponowały koncepcję „wczesnego zakończenia” (early exiting), w której model ma małe punkty kontrolne między warstwami. Jeśli punkt kontrolny jest już bardzo pewny swojej odpowiedzi, model może zakończyć działanie tam, zamiast przepuszczać dane przez wszystkie pozostałe warstwy. Jedna grupa metod decyduje na podstawie pewności: jeśli przewidywanie jest silnie skoncentrowane na jednym wyniku, model wychodzi. Podejścia te są proste i elastyczne, ale mogą tracić na dokładności, gdy są dostrajane pod kątem szybkości. Inna grupa metod wymaga zgody kilku kolejnych warstw na tę samą odpowiedź — reguły „cierpliwości”, które zwykle chronią dokładność, lecz są wrażliwe na liczbę wymaganych zgodności, co utrudnia ich ustawienie dla różnych potrzeb klinicznych.

Hybrydowe wczesne zakończenie nazwane EPEE

Autorzy przedstawiają EPEE, skrót od Entropy- and Patience-based Early Exiting, które łączy te dwa pomysły. W każdej warstwie transformera EPEE dołącza lekki klasyfikator. System sprawdza dwa proste warunki: czy obecne przewidywanie jest bardzo pewne oraz czy ostatnie warstwy konsekwentnie podawały tę samą decyzję. Jeśli którykolwiek warunek jest spełniony, model zatrzymuje się i zwraca wynik. Poprzez dostosowanie progu „pewności” i liczby wymaganych powtórzeń zgody, użytkownicy mogą regulować zarówno szybkość, jak i ostrożność. Co ważne, autorzy pokazują, że wcześniejsze metody oparte tylko na pewności lub tylko na cierpliwości są jedynie szczególnymi przypadkami tej bardziej ogólnej strategii.

Testy na rzeczywistych tekstach i obrazach medycznych

Aby sprawdzić praktyczność EPEE, zespół przetestował metodę na trzech typach zadań biomedycznych: klasyfikacji notatek lub recenzji, wyszukiwaniu relacji takich jak interakcje leków oraz wydobywaniu zdarzeń medycznych z tekstu. Wykorzystali osiem popularnych modeli podstawowych, w tym modele językowe jak BERT i GPT-2 oraz transformera wizji do obrazów medycznych. Na dwunastu zbiorach danych pochodzących z zapisów intensywnej opieki, opinii pacjentów, literatury medycznej oraz kolekcji obrazów, takich jak rentgeny klatki piersiowej i preparaty krwi, porównali EPEE z tradycyjnym pełnym wnioskiem przez wszystkie warstwy oraz z wcześniejszymi metodami wczesnego zakończenia. W wielu przypadkach model osiągał najlepszą lub niemal najlepszą dokładność na warstwach pośrednich, co oznacza, że wymuszanie użycia wszystkich warstw było zbędne. EPEE wykorzystywało to, pozwalając prostym przypadkom wychodzić wcześniej, a trudniejszym przechodzić przez więcej warstw.

Równoważenie szybkości i niezawodności w warunkach klinicznych

Gdy badacze zmierzyli czas działania, EPEE konsekwentnie skracało opóźnienie wniosku w porównaniu zarówno z zwykłymi modelami pełnej głębokości, jak i wcześniejszymi technikami wczesnego zakończenia, często redukując efektywne obciążenie obliczeniowe przy jednoczesnym dopasowaniu lub lekkiej poprawie dokładności. Metoda wymagała tylko niewielkiego dodatkowego kosztu podczas treningu i działała podobnie dobrze zarówno dla modeli językowych, jak i obrazowych, w tym nowszych dużych modeli biomedycznych. Ponieważ jej dwa ustawienia można dostosować, by osiągnąć wybraną równowagę między szybkością a poprawnością, EPEE jest dobrze dopasowane do środowisk takich jak intensywna opieka, gdzie szybkie odpowiedzi są kluczowe, ale koszty błędów są wysokie.

Co to oznacza dla przyszłej medycznej AI

Mówiąc prosto, ta praca uczy duże systemy medycznej AI zatrzymywać się, gdy już znają odpowiedź, zamiast bez końca sprawdzać swoje wnioski. Łącząc dwie powszechne reguły wyjścia w elastyczne ramy, EPEE pokazuje, że szpitale mogą nie potrzebować jeszcze większych modeli, by uzyskać lepsze wyniki; mogą potrzebować modeli, które mądrzej wykorzystują istniejącą „wiedzę”. Przy szerokim wdrożeniu taka strategia wczesnego zakończenia mogłaby pomóc wprowadzić potężne modele tekstowe i obrazowe do przepływów pracy w czasie rzeczywistym, wspierając szybsze, a nadal niezawodne decyzje przy łóżku pacjenta.

Cytowanie: Zhan, Z., Zhou, S., Zhou, H. et al. EPEE: towards efficient and effective foundation models in biomedicine. npj Health Syst. 3, 30 (2026). https://doi.org/10.1038/s44401-026-00083-2

Słowa kluczowe: wczesne zakończenie, biomedyczna AI, modele podstawowe, wydajność modelu, wsparcie decyzji klinicznych