Klassificering av anmälningar om brister i hälsoprodukter med djupinlärning

Varför det är viktigt att upptäcka dåliga läkemedel snabbare

De flesta av oss utgår från att de läkemedel och hälsoprodukter vi använder är säkra och tillverkade enligt strikta kvalitetsstandarder. Ändå återkallas hundratals läkemedelsprodukter varje år globalt på grund av kontaminering, felaktiga ingredienser eller vilseledande märkning. Varje defekt produkt utgör en potentiell risk för patienter. Myndigheter måste snabbt läsa och tolka tusentals felrapporter för att avgöra vilka som kräver omedelbar åtgärd. Denna artikel beskriver hur ett system baserat på djupinlärning byggdes för att hjälpa hälsomyndigheter att klassificera dessa rapporter snabbare och mer konsekvent, så att de kan fokusera på de problem som utgör störst risk för folkhälsan.

Hur produktproblem rapporteras i dag

När en möjlig defekt upptäcks i ett läkemedel eller annan hälsoprodukt skickas en kort skriftlig rapport till tillsynsmyndigheten. Dessa rapporter kan beskriva många olika problem: glasskärvor i en flaska, fel ingrediens i en tablett, förpackning som läcker eller etiketter som kan leda till doseringsfel. I Singapore använder Health Sciences Authority ett standardiserat medicinskt ordregister, anpassat för lokala behov, för att gruppera varje rapport i en av flera specifika kategorier, såsom kontaminering av mikroorganismer eller reklam som bryter mot reglerna. Den kategori som tilldelas en rapport hjälper till att avgöra hur allvarligt problemet är och hur snabbt det måste hanteras. För närvarande läser utbildade handläggare varje rapport och tilldelar en etikett manuellt. Detta arbete är långsamt, komplext och kan bli inkonsekvent, särskilt när antalet rapporter växer.

Att lära en dator läsa felrapporter

Forskarna ville bygga ett artificiellt intelligenssystem som kunde stödja dessa handläggare snarare än ersätta dem. De samlade in 13 830 felrapporter mottagna mellan 2010 och 2021, som omfattade läkemedel, vacciner, kosttillskott och kosmetika. Ett team av erfarna farmaceuter granskade och märkte noggrant varje rapport med 21 av de vanligaste defektkategorierna, vilka tillsammans täckte mer än 99 % av fallen. Teamet använde sedan en populär språkmodell kallad BERT, som är utformad för att förstå ords betydelse i kontext, som kärna i sitt system. Genom att finjustera BERT på denna etiketterade samling skapade de ett verktyg—kallat MedDefects‑BERT—som kunde läsa en rapports titel och beskrivning och förutsäga den mest sannolika defektkategorin.

Hur väl systemet presterar

När det testades på rapporter det inte tidigare sett matchade MedDefects‑BERT experternas förstaval 86 % av gångerna. Om systemet tilläts föreslå sina tre mest sannolika kategorier inkluderade listan rätt kategori 96 % av gångerna. Detta är viktigt eftersom en handläggare i praktiken enkelt kan granska en kort lista med förslag i stället för att börja från noll. Systemet fungerade bättre för kategorier med fler träningsexempel, vilket är typiskt för maskininlärning. Trots detta höjde möjligheten att föreslå upp till tre etiketter prestandan över 70 % för varje kategori, även för de mer ovanliga. Modellens konfidenspoäng—tal mellan 0 och 1 som visar hur säker den är—var starkt kopplade till hur ofta den hade rätt. Genom att sätta en tröskel för konfidens visade teamet att de kunde höja träffsäkerheten till cirka 91 % för de "säkra" förutsägelserna samtidigt som en modest andel fall markerades som "osäkra" för närmare mänsklig granskning.

Inblick i modellens beslut

Författarna tog också itu med en central oro kring AI i säkerhetskritiska områden: transparens. De använde visualiseringsverktyg för att visa att rapporter som tillhör samma defektkategori klustrar tillsammans i modellens interna "karta" över dokumentens betydelser, medan felklassificerade rapporter hamnar vid kanterna mellan kluster. På ordnivå tillämpade de en metod kallad SHAP för att lyfta fram vilka termer i en rapport som drev modellen mot en viss kategori. Till exempel påverkade ord relaterade till svamp eller mögel starkt förutsägelser om mikrobiell kontaminering, medan termer som "fällning" eller "utfällning" stödde en kategori kopplad till avlagringar i produkter. Dessa förklaringar ger handläggarna ett snabbt sätt att se varför modellen gav ett förslag och att bedöma om det verkar rimligt i kontexten.

Göra systemet smartare och mer effektivt

För att ytterligare förbättra prestandan utan stora ökningar i beräkningskostnad använde teamet en teknik känd som deep prompt tuning. Istället för att ändra alla modellens interna inställningar lade de till små träningsbara "prefix" i varje lager som varsamt styr modellen mot denna specifika uppgift. Kombinationen av traditionell finjustering och dessa prompts ökade systemets noggrannhet i mer än hälften av defektkategorierna och förbättrade dess förmåga att korrekt fånga fall överlag. Tester på nyare rapporter från 2022 visade att systemets noggrannhet höll i sig över tid, vilket tyder på att dess förståelse av felrapporter inte snabbt blev föråldrad.

Vad detta betyder för patienter och tillsynsmyndigheter

Studien visar att en väl utformad språkmodell avsevärt kan hjälpa myndigheter att sålla bland stora volymer av felrapporter för hälsoprodukter, standardisera hur ärenden kategoriseras och snabbare peka ut högriskproblem. Eftersom systemet också förklarar vilka ord och avsnitt som låg till grund för dess förslag, förblir mänskliga experter tydligt i kontroll över slutgiltiga beslut. Med fortsatt förfining—såsom att hantera flera defekttyper i en och samma rapport och att utöka till mer sällsynta kategorier—skulle liknande verktyg kunna stärka övervakningen av läkemedelskvalitet globalt, minska fördröjningar vid återkallelser av farliga produkter och i slutändan ge bättre skydd för patienter.

Citering: Sancenon, V., Huang, Y., Zou, L. et al. Classification of health product defect reports by deep learning. Sci Rep 16, 13528 (2026). https://doi.org/10.1038/s41598-026-43961-3

Nyckelord: Läkemedelssäkerhet, Medicinsk kvalitet, Djupinlärning, Tillsynsövervakning, Bearbetning av naturligt språk