Klasyfikacja zgłoszeń wad produktów zdrowotnych za pomocą głębokiego uczenia

Dlaczego szybkie wykrywanie wadliwych leków ma znaczenie

Większość z nas zakłada, że leki i produkty zdrowotne, których używamy, są bezpieczne i wytwarzane zgodnie ze ścisłymi standardami jakości. Tymczasem na całym świecie co roku wycofywanych jest setki produktów farmaceutycznych z powodu skażenia, nieprawidłowych składników lub wprowadzających w błąd etykiet. Każdy wadliwy produkt stanowi potencjalne zagrożenie dla pacjentów. Organy nadzorcze muszą szybko czytać i interpretować tysiące zgłoszeń o wadach, aby zdecydować, które z nich wymagają pilnej reakcji. Artykuł opisuje, jak zbudowano system głębokiego uczenia, który pomaga władzom zdrowotnym szybciej i bardziej konsekwentnie klasyfikować te zgłoszenia, tak aby mogły skupić uwagę na problemach o największym ryzyku dla zdrowia publicznego.

Jak dziś zgłaszane są problemy z produktami

Kiedy wykryta zostanie możliwa wada leku lub innego produktu zdrowotnego, do organów nadzoru wysyłane jest krótkie pisemne zgłoszenie. Zgłoszenia te mogą opisywać wiele problemów: od szklanych odprysków w fiolce, przez nieprawidłowy składnik w tabletce, po nieszczelne opakowanie lub etykiety, które mogą prowadzić do błędów dawkowania. W Singapurze Health Sciences Authority używa standardowego słownika medycznego, dostosowanego do lokalnych potrzeb, aby przyporządkować każde zgłoszenie do jednej z kilku konkretnych kategorii, takich jak skażenie mikroorganizmami czy reklama naruszająca zasady. Kategoria przypisana do zgłoszenia pomaga określić, jak poważny jest problem i jak szybko musi być rozwiązany. Obecnie wyszkoleni funkcjonariusze czytają każde zgłoszenie i przypisują etykietę ręcznie. Ta praca jest powolna, złożona i może być niejednolita, zwłaszcza wraz ze wzrostem liczby zgłoszeń.

Nauczanie komputera czytania zgłoszeń o wadach

Badacze postanowili zbudować system sztucznej inteligencji, który wspierałby tych funkcjonariuszy, a nie zastępował ich. Zebrali 13 830 zgłoszeń o wadach otrzymanych w latach 2010–2021, obejmujących leki, szczepionki, suplementy i kosmetyki. Zespół doświadczonych farmaceutów starannie przejrzał i oznakował każde zgłoszenie, używając 21 najczęściej występujących kategorii wad, które łącznie obejmowały ponad 99% przypadków. Następnie zespół wykorzystał popularny model językowy o nazwie BERT, zaprojektowany do rozumienia znaczenia słów w kontekście, jako rdzeń systemu. Poprzez dostrojenie BERT-a na tej oznakowanej kolekcji stworzyli narzędzie — nazwane MedDefects‑BERT — które potrafi przeczytać tytuł i opis zgłoszenia oraz przewidzieć najbardziej prawdopodobną kategorię wady.

Jak dobrze działa system

W testach na zgłoszeniach, których wcześniej nie widział, MedDefects‑BERT trafiał w wybór ekspertów jako pierwszy w 86% przypadków. Jeśli system mógł zasugerować trzy najbardziej prawdopodobne kategorie, właściwa zawierała się wśród nich w 96% przypadków. To ważne, ponieważ rzeczywisty funkcjonariusz może po prostu przejrzeć krótką listę sugestii zamiast zaczynać od zera. System działał lepiej dla kategorii z większą liczbą przykładów treningowych, co jest typowe dla uczenia maszynowego. Mimo to możliwość zaproponowania do trzech etykiet podniosła wydajność powyżej 70% dla każdej kategorii, w tym dla rzadszych. Wartości pewności modelu — liczby między 0 a 1 wskazujące, jak bardzo model jest przekonany — były silnie powiązane z jego trafnością. Ustalając próg pewności, zespół pokazał, że można podnieść dokładność do około 91% w przypadku „pewnych” przewidywań, oznaczając jednocześnie skromną część spraw jako „niepewne” do dokładniejszej oceny przez ludzi.

Zaglądanie w decyzje modelu

Autorzy podjęli się także kluczowego wyzwania związanego z AI w dziedzinach o znaczeniu dla bezpieczeństwa: przejrzystości. Użyli narzędzi wizualizacyjnych, aby pokazać, że zgłoszenia należące do tej samej kategorii wad klasteryzują się razem na wewnętrznej „mapie” znaczeń dokumentów w modelu, podczas gdy błędnie sklasyfikowane zgłoszenia znajdują się na krawędziach między klastrami. Na poziomie poszczególnych słów zastosowali metodę zwaną SHAP, aby wyróżnić, które terminy w zgłoszeniu skłaniały model ku danej kategorii. Na przykład słowa związane z grzybami lub pleśnią silnie wpływały na przewidywania skażenia mikroorganizmami, podczas gdy terminy takie jak „osad” czy „wytrącanie” wspierały kategorię związaną z osadami w produktach. Takie wyjaśnienia dają funkcjonariuszom szybki sposób, by zobaczyć, dlaczego model zasugerował daną kategorię i ocenić, czy to ma sens w kontekście.

Udoskonalanie systemu, by był mądrzejszy i wydajniejszy

Aby dodatkowo poprawić wydajność bez zwiększania kosztów obliczeniowych, zespół zastosował technikę znaną jako głębokie strojenie promptów (deep prompt tuning). Zamiast zmieniać wszystkie wewnętrzne ustawienia modelu, dodali małe, trenowalne „prefiksy” do każdej warstwy, które subtelnie nakierowują model na to konkretne zadanie. Połączenie tradycyjnego dostrajania z tymi promptami zwiększyło dokładność systemu w ponad połowie kategorii wad i poprawiło jego zdolność do prawidłowego wykrywania przypadków w ogóle. Testy na nowszych zgłoszeniach z 2022 roku wykazały, że dokładność systemu utrzymała się w czasie, co sugeruje, że jego rozumienie zgłoszeń o wadach nie dezaktualizuje się szybko.

Co to oznacza dla pacjentów i organów nadzoru

Badanie pokazuje, że dobrze zaprojektowany model językowy może istotnie pomóc organom nadzoru przesiać duże ilości zgłoszeń o wadach produktów zdrowotnych, ujednolicić sposób kategoryzacji spraw i szybciej wyłaniać problemy wysokiego ryzyka. Ponieważ system także wyjaśnia, które słowa i fragmenty wpłynęły na jego sugestie, eksperci ludzie pozostają w pełni odpowiedzialni za decyzje końcowe. Przy dalszym dopracowaniu — na przykład radzeniu sobie z wieloma typami wad w jednym zgłoszeniu i rozszerzeniu o rzadsze kategorie — podobne narzędzia mogłyby wzmocnić nadzór nad jakością leków na całym świecie, skrócić opóźnienia w wycofywaniu niebezpiecznych produktów i ostatecznie lepiej chronić pacjentów.

Cytowanie: Sancenon, V., Huang, Y., Zou, L. et al. Classification of health product defect reports by deep learning. Sci Rep 16, 13528 (2026). https://doi.org/10.1038/s41598-026-43961-3

Słowa kluczowe: bezpieczeństwo leków, jakość leków, głębokie uczenie, nadzór regulacyjny, przetwarzanie języka naturalnego