Die Weltregulierung für generative KI in Medizinprodukten zu erneuern ist eine dringende Priorität

Warum das für Ihre Gesundheit wichtig ist

Generative künstliche Intelligenz, einschließlich fortgeschrittener Chatbots, hält rasch Einzug in Praxen und Krankenhäuser. Solche Systeme können Kliniknotizen verfassen, Gesundheitsfragen beantworten und sogar Diagnosen vorschlagen. Dieser Review erklärt, warum unsere derzeitigen Regeln für Medizinprodukte für derartige flexible und unvorhersehbare Technologien nicht ausreichen und weshalb ihre Aktualisierung entscheidend ist, um weltweit sichere, faire und vertrauenswürdige Versorgung zu gewährleisten.

Neue Werkzeuge, die weit mehr als eine Aufgabe erfüllen

Ältere medizinische Software wurde für eine klar definierte Aufgabe gebaut, etwa das Erkennen eines Tumors in einer Bildaufnahme. Generative KI und große Sprachmodelle hingegen können viele verschiedene Aufgaben übernehmen, vom Zusammenfassen von Krankenakten bis zur Beratung zu Behandlungsoptionen. Sie werden mit riesigen Sammlungen von Online‑Texten, Bildern und anderen Daten trainiert, was sie leistungsfähig, aber auch schwer vollständig durchschaubar oder kontrollierbar macht. Da ihre Antworten von Anwendung zu Anwendung variieren können und selbstbewusste Fehler oder sogenannte „Halluzinationen“ enthalten können, lassen sie sich nicht sauber in bestehende Medizinprodukt‑kategorien einordnen, die für vorhersehbarere Werkzeuge entwickelt wurden.

Warum aktuelle Sicherheitsregeln nicht genügen

Regulierungsbehörden haben versucht, mit einem Ansatz des „gesamten Produktlebenszyklus“ Schritt zu halten, der ein Gerät von der Entwicklung bis zur Nutzung im realen Umfeld begleitet. Das hilft bei vielen Arten von KI, doch der Artikel argumentiert, dass dies für große Sprachmodelle nicht ausreichend ist. Es ist nahezu unmöglich, alle Trainingsdaten auf Fehler oder versteckte persönliche Informationen zu prüfen. Die Bewertung der Leistungsfähigkeit dieser Systeme ist ebenfalls schwierig, weil ihre langen, offen geführten Antworten sich nur schwer mit einfachen Genauigkeitstests bewerten lassen. Studien zeigen, dass einige Modelle in prüfungsähnlichen Aufgaben gut abschneiden, in unordentlichen realen Fällen jedoch Probleme haben und in wichtigen Aufgaben schlechter als klinisch tätige Personen abschneiden können. Hinzu kommt, dass es keinen einheitlichen Weg gibt, Verzerrungen zu messen oder zu überwachen, sodass die Systeme für bestimmte Patientengruppen stillschweigend schlechter funktionieren könnten.

Versteckte Risiken nach der Inbetriebnahme

Einmal freigegeben, wird die Überwachung der Sicherheit von großen Sprachmodell‑Werkzeugen noch komplexer. Viele Modelle bauen auf gemeinsamen Basissystemen auf und werden dann von verschiedenen Firmen angepasst oder weitertrainiert, wodurch schwer nachzuvollziehen ist, welche Daten und Änderungen darunterliegen. Manche Tools erreichen Patientinnen und Patienten direkt als Gesundheits‑Apps ohne formelle Zulassung. Probleme können ungemeldet bleiben, besonders wenn Fehler in langen Kliniknotizen verborgen sind, die ein KI‑Skribent verfasst hat. Bestehende Zulassungswege, die auf der Darstellung von „Ähnlichkeit“ mit älteren Produkten beruhen, können für Werkzeuge missbraucht werden, die in Wahrheit ganz anders sind. Gleichzeitig werden ethische Fragen wie Datenschutz, Autonomie, Vertrauen und die Auswirkung auf die Arzt‑Patient‑Beziehung in den aktuellen Regulierungen nur teilweise adressiert.

Klugere und fairere Aufsicht aufbauen

Die Autorinnen und Autoren heben aufkommende Ideen hervor, um Regulierung flexibler und wirksamer zu machen. „Regulatorische Sandboxes“ erlauben es, neue KI‑Werkzeuge unter Aufsicht in begrenzten Umgebungen zu testen, sodass Aufsichtsbehörden und Entwicklerinnen aus der Praxis lernen und Regeln rasch anpassen können. Neue Konzepte wie „Software als medizinische Dienstleistung“ zielen darauf ab, hochautomatisierte KI‑Agenten eher als fortlaufende Gesundheitsdienste denn als feste Produkte zu behandeln. Der Beitrag betont außerdem die Bedeutung, die gesamte Lieferkette zu verstehen — von Datenerhebung und Modellaufbau bis zu Cloud‑Hosting und Hardware — damit Gesundheitssysteme belastbar bleiben, wenn digitale Werkzeuge ausfallen oder angegriffen werden. Globale Netzwerke von Regulierungsbehörden, Forschenden und Gesundheitssystemen beginnen, Checklisten, Teststandards und Aufsichtslabore zu teilen, um ihre Anstrengungen zu harmonisieren.

Gerechtigkeit in den Mittelpunkt stellen

Ein zentrales Anliegen ist, wie generative KI die gesundheitlichen Unterschiede zwischen reichen und armen Regionen vergrößern oder verringern könnte. Wenn Modelle hauptsächlich mit Daten aus wohlhabenden Ländern trainiert werden, können sie in ressourcenarmen Settings oder für unterrepräsentierte Gemeinschaften schlecht performen. Der Artikel fordert eine gezielte Einbeziehung von Perspektiven und Daten aus Ländern mit niedrigem und mittlerem Einkommen sowie Unterstützung, damit diese Regionen eigene KI‑Werkzeuge sicher entwickeln und einsetzen können. Auf gesundheitliche Gerechtigkeit ausgerichtete Berichtsstandards und Evaluationsinstrumente können verborgene Verzerrungen sichtbar machen, während Kooperationen helfen können, erfolgreiche KI‑Lösungen aus Pilotprojekten in echte Kliniken zu überführen, ohne verwundete Gruppen zurückzulassen.

Was das für die Zukunft bedeutet

Kurz gesagt kommt der Beitrag zu dem Schluss, dass generative KI in der Medizin zu schnell voranschreitet, als dass die vorhandenen Regelwerke mithalten könnten. Um Patientinnen und Patienten zu schützen und Vertrauen zu gewinnen, müssen Länder gemeinsam an neuen, adaptiven Regulierungsrahmen arbeiten, die mit sich wandelnden Modellen Schritt halten und zugleich Datenschutz, Sicherheit und Fairness wahren. Die Autorinnen und Autoren stellen sich unabhängige globale Gremien vor, die gemeinsame Standards setzen — ähnlich denen im Bereich der Cybersicherheit — damit Krankenhäuser und Patientinnen weltweit von diesen Werkzeugen profitieren können, ohne vermeidbaren Schaden zu erleiden.

Zitation: Ong, J.C.L., Ning, Y., Liu, M. et al. Innovating global regulatory frameworks for generative AI in medical devices is an urgent priority. npj Digit. Med. 9, 364 (2026). https://doi.org/10.1038/s41746-026-02552-2

Schlüsselwörter: generative KI, Medizinprodukte, Gesundheitsregulierung, große Sprachmodelle, gesundheitliche Gerechtigkeit