Att förnya globala regelverk för generativ AI i medicintekniska produkter är en angelägen prioritet

Varför detta spelar roll för din hälsa

Generativ artificiell intelligens, inklusive verktyg som avancerade chattbotar, flyttar snabbt in i vårdcentraler och sjukhus. Dessa system kan utarbeta kliniska anteckningar, svara på hälsofrågor och till och med föreslå diagnoser. Denna genomgång förklarar varför våra nuvarande regler för medicintekniska produkter inte är redo för sådana flexibla och svårförutsägbara teknologier, och varför en uppdatering är nödvändig för säker, rättvis och trovärdig vård globalt.

Nya verktyg som gör mycket mer än en uppgift

Äldre medicinsk programvara byggdes för att utföra en tydligt definierad uppgift, till exempel att upptäcka en tumör på en bild. Generativ AI och stora språkmodeller kan däremot hantera många olika uppgifter, från att sammanfatta journaler till att ge råd om behandlingsalternativ. De tränas på enorma samlingar av online-text, bilder och annan data, vilket gör dem kraftfulla men också svåra att helt förstå eller kontrollera. Eftersom deras svar kan variera från gång till gång, och kan innehålla säkra men felaktiga påståenden eller så kallade "hallucinationer", passar de inte lätt in i befintliga kategorier för medicintekniska produkter, som utformats för mer förutsägbara verktyg.

Varför nuvarande säkerhetsregler inte räcker till

Tillsynsmyndigheter har försökt hänga med genom en "total product life cycle"-ansats som följer en produkt från design till användning i verkligheten. Det hjälper för många typer av AI, men artikeln hävdar att det inte räcker för stora språkmodeller. Det är nästintill omöjligt att granska all träningsdata för fel eller dold personlig information. Att utvärdera hur väl dessa system fungerar är också komplicerat, eftersom deras långa, öppna svar är svåra att poängsätta med enkla noggrannhetstester. Studier visar att vissa modeller presterar väl på provliknande frågor men kämpar med röriga verkliga fall, och kan prestera sämre än kliniker i viktiga uppgifter. Dessutom finns det ingen allmänt accepterad metod för att mäta eller övervaka partiskhet, vilket innebär att systemen tyst kan fungera sämre för vissa patientgrupper.

Dolda risker efter införande

När verktyg baserade på stora språkmodeller släpps blir det ännu mer komplicerat att följa deras säkerhet. Många modeller bygger på delade basystem som sedan anpassas eller retränas av olika företag, vilket gör det svårt att veta exakt vilken data och vilka förändringar som ligger bakom. Vissa verktyg når patienter direkt som hälsoappar utan formellt godkännande. Problem kan förbli orapporterade, särskilt när fel är dolda i långa kliniska anteckningar utarbetade av en AI-skrivare. Befintliga godkännandevägar som förlitar sig på att visa "likhet" med äldre produkter kan missbrukas för verktyg som i verkligheten är ganska annorlunda. Samtidigt hanteras etiska frågor som integritet, autonomi, förtroende och påverkan på läkare–patient-relationen bara delvis i dagens regelverk.

Bygga smartare och mer rättvis tillsyn

Författarna lyfter fram framväxande idéer för att göra reglering mer flexibel och effektiv. "Regulatory sandboxes" gör det möjligt att testa nya AI-verktyg under tillsyn i begränsade miljöer, så att tillsynsmyndigheter och utvecklare kan lära sig av erfarenhet och snabbt justera regler. Nya begrepp som "mjukvara som en medicinsk tjänst" syftar till att behandla högt automatiserade AI-agenters som fortlöpande vårdtjänster snarare än fasta produkter. Artikeln betonar också vikten av att förstå hela leverantörskedjan, från datainsamling och modellbygge till molnhosting och hårdvara, så att vårdsystem kan förbli motståndskraftiga när digitala verktyg fallerar eller utsätts för angrepp. Globala nätverk av tillsynsmyndigheter, forskare och vårdsystem börjar dela checklistor, teststandarder och tillsynslaboratorier för att samordna sina insatser.

Hålla jämlikhet i centrum

En huvudfråga är hur generativ AI kan vidga eller minska hälsoklyftan mellan rika och fattiga regioner. Om modeller tränas främst på data från höginkomstländer kan de prestera dåligt i lågresursmiljöer eller för underrepresenterade grupper. Artikeln uppmanar till medvetet inkluderande av perspektiv och data från låg- och medelinkomstländer, samt stöd för att hjälpa dessa regioner att själva bygga och distribuera AI-verktyg säkert. Rapportstandarder och utvärkningsverktyg med fokus på hälsorättvisa kan blottlägga dolda partiskheter, medan samarbeten kan hjälpa till att föra framgångsrik AI från pilotprojekt in i verkliga kliniker utan att lämna utsatta grupper utanför.

Vad detta betyder framöver

Enkelt uttryckt slår artikeln fast att generativ AI inom medicin rör sig för fort för dagens regelböcker. För att skydda patienter och vinna förtroende behöver länder samarbeta om nya, adaptiva regelverk som kan hålla jämna steg med föränderliga modeller samtidigt som de värnar om integritet, säkerhet och rättvisa. Författarna föreställer sig oberoende globala organ som fastställer gemensamma standarder, liknande de som finns för cybersäkerhet, så att sjukhus och patienter överallt kan dra nytta av dessa verktyg utan att utsättas för onödiga risker.

Citering: Ong, J.C.L., Ning, Y., Liu, M. et al. Innovating global regulatory frameworks for generative AI in medical devices is an urgent priority. npj Digit. Med. 9, 364 (2026). https://doi.org/10.1038/s41746-026-02552-2

Nyckelord: generativ AI, medicintekniska produkter, hälso- och sjukvårdsreglering, stora språkmodeller, hälsorättvisa