Duża skala benchmarku do oceny dużych modeli językowych w zadaniach odpowiadania na pytania medyczne po rumuńsku

Dlaczego to ma znaczenie dla zdrowia i technologii

Wielu ludzi zwraca się dziś do narzędzi internetowych i chatbotów po informacje zdrowotne, ale większość tych systemów działa najlepiej po angielsku i ma problemy z lokalnymi dokumentami medycznymi. Artykuł wypełnia tę lukę dla Rumunii, gdzie lekarze piszą długie, złożone streszczenia przypadków po rumuńsku i potrzebują niezawodnych cyfrowych pomocników, którzy szybko odpowiedzą na pytania dotyczące pacjentów z rakiem. Autorzy przedstawiają MedQARo, nowe zasoby umożliwiające badaczom rzetelne testowanie i poprawianie dużych modeli językowych, aby lepiej rozumiały rzeczywiste notatki kliniczne w języku rumuńskim.

Nowa baza pytań oparta na prawdziwych pacjentach

Trzon badania stanowi MedQARo — bardzo obszerna kolekcja 105 880 par pytanie–odpowiedź powiązanych z 1 242 pacjentami onkologicznymi. Zamiast tłumaczyć dane z angielskiego, zespół zaczął od zera od oryginalnych rumuńskich streszczeń przypadków, głównie dotyczących raka piersi i płuca oraz kilku innych typów nowotworów. Siedmiu specjalistów onkologii i rezydentów spędziło prawie 3 000 godzin na czytaniu tych dokumentów i tworzeniu odpowiedzi na starannie zaprojektowane pytania medyczne. Niektóre pytania mają odpowiedź tak/nie, inne wydobywają konkretne szczegóły, a jeszcze inne wymagają łączenia wskazówek, by wywnioskować stadia choroby lub harmonogramy leczenia. Wszystkie dane pacjentów zostały w pełni zanonimizowane i zatwierdzone przez komisje etyczne.

Testowanie AI na rodzimym języku medycznym

Korzystając z MedQARo, autorzy ocenili kilka rodzin dużych modeli językowych, w tym dwa dostrojone ogólnie do rumuńskiego, jeden zaprojektowany do pracy z bardzo długimi tekstami oraz jeden trenowany na anglojęzycznych materiałach medycznych. Porównali je także z dwoma potężnymi modelami komercyjnymi dostępnymi poprzez płatne API. Każdy model musiał przeczytać pytanie i fragment streszczenia klinicznego, a następnie wygenerować odpowiedź. Badacze oceniali nie tylko dokładne dopasowania, lecz także jak często modele uchwyciły kluczowe słowa i jak radziły sobie z elastycznym rumuńskim słownictwem, używając czterech różnych miar oceny.

Dostrojone modele przewyższają „gotowe do użycia” giganty

W całym badaniu modele użyte „prosto z pudełka” wypadły słabo na MedQARo, nawet jeśli były silne po angielsku lub miały pewne ekspozycje na rumuński. Proste bazowe strategie, które zawsze zgadywały najczęstszą odpowiedź, czasem osiągały wynik niemal równie dobry jak te systemy zero‑shot. Po dostrojeniu modeli na nowym zbiorze danych jednak wyniki skoczyły dramatycznie. Najlepszy system, zaadaptowany do rumuńskiego model RoMistral‑7B, osiągnął F1 około 0,67 na znanych typach nowotworów i szpitalach, wyraźnie pokonując pozostałe modele open‑source i komercyjne. Mimo to nawet ten lider odpowiedział błędnie na ponad jedną trzecią pytań, co pokazuje, jak wymagający jest benchmark.

Test odporności: generalizacja między klinikami i nowotworami

Aby sprawdzić, czy systemy poradzą sobie w nowych sytuacjach, zespół stworzył trudniejszy zestaw testowy pochodzący z innego ośrodka medycznego oraz obejmujący typy nowotworów niewystępujące w danych treningowych. W tym scenariuszu międzydomenowym wydajność wszystkich modeli spadła, często wyraźnie, przy czym najlepszy model dostrojony poprawnie odpowiadał znacznie mniej niż połowie pytań. Modele trenowane na anglojęzycznych tekstach biomedycznych nie przenosiły się automatycznie dobrze na rumuńskie notatki, a podanie modelom znacznie dłuższego fragmentu dokumentu klinicznego niewiele pomagało. W rzeczywistości koncentracja na pierwszej części streszczenia często działała lepiej niż podawanie całej długiej dokumentacji, co sugeruje, że dodatkowy kontekst może raczej mylić niż wyjaśniać.

Co to oznacza dla przyszłych rozwiązań AI w klinice

Dla czytelnika niebędącego specjalistą najważniejszy wniosek jest taki, że budowa bezpiecznej i użytecznej medycznej AI w językach takich jak rumuński wymaga czegoś więcej niż wpięcia lokalnych danych do dużego, skoncentrowanego na angielskim chatbota. Starannie przygotowane, specyficzne dla języka benchmarki, takie jak MedQARo, ujawniają zarówno potencjał, jak i ograniczenia obecnych systemów. Pokazują one, że małe modele open‑source, po dostrojeniu na wysokiej jakości lokalnych danych, mogą przewyższać znacznie większe, ogólne modele działające w chmurze. Jednocześnie umiarkowane wyniki, szczególnie na nowych szpitalach i typach nowotworów, ostrzegają, że dzisiejsze narzędzia nie są gotowe do zastąpienia ludzkiego osądu. Zamiast tego MedQARo oferuje solidną podstawę dla kolejnej generacji asystentów klinicznych, którzy mogą pomagać rumuńskim lekarzom w nawigacji po złożonych zapisach onkologicznych, przy jednoczesnym zachowaniu bezpieczeństwa i prywatności pacjentów.

Cytowanie: Rogoz, AC., Ionescu, R.T., Anghel, AV. et al. A large-scale benchmark for evaluating large language models on medical question answering in Romanian. npj Digit. Med. 9, 268 (2026). https://doi.org/10.1038/s41746-026-02465-0

Słowa kluczowe: odpowiadanie na pytania medyczne, AI w języku rumuńskim, kliniczne zapisy onkologiczne, duże modele językowe, benchmark MedQARo