ADAT: ny tidsserievänlig adaptiv transformerarkitektur för teckenspråksöversättning

Att överbrygga kommunikationsklyftan

För miljontals döva och hörselskadade personer kan vardagliga uppgifter som att gå till en läkare eller titta på en väderrapport vara svårare än de behöver vara, helt enkelt eftersom kvalificerade teckenspråkstolkare är sällsynta. Denna artikel presenterar ett nytt artificiellt intelligenssystem kallat ADAT som omvandlar teckenspråksvideor till skriftliga meningar mer korrekt och effektivt än många befintliga system, vilket för oss närmare realtids- och lättillgänglig teckenspråksöversättning på telefoner, surfplattor och sjukhusdatorer.

Varför teckenspråk är svårt för datorer

Teckenspråk är rika, komplexa språk med egen grammatik, och de förlitar sig på mycket mer än bara handrörelser. Ansiktsuttryck, kroppshållning och subtil timing förändrar alla betydelsen i en tecknad mening. Moderna översättningssystem använder ofta en kraftfull AI‑arkitektur känd som transformer, som är mycket bra på att förstå långa satser i talat eller skrivet språk. Men när det gäller högfrekvent video — 30 till 60 bildrutor per sekund — kan dessa system bli långsamma och ha svårt att uppfatta de snabba, finfördelade rörelserna som skiljer en tecken från en annan. De kräver också mycket datorkraft och träningstid, vilket gör det svårare att hålla dem uppdaterade när teckenspråk utvecklas.

Ett smartare sätt att läsa tecknande

ADAT‑arkitekturen är speciellt utformad för teckenspråksvideo och behandlar den som en tidsserie: en snabb ström av visuella händelser som utvecklas över tid. Den kombinerar tre idéer. För det första använder den konvolutionella neurala nätverk, en beprövad bildteknik, för att zooma in på lokala mönster som handformer och ansiktsmarkörer. För det andra använder den en effektivare form av uppmärksamhet som selektivt tittar tillbaka på viktiga ögonblick i videon istället för att jämföra varje bildruta med varje annan. För det tredje lär en adaptiv "grind" (gate) sig att blanda detaljerad korttidsinformation med bredare långtidssammanhang och avgör i farten vad som är viktigast för varje del av en mening. Tillsammans gör dessa delar att ADAT kan fånga både en snabb fingerknäppning och samtalets övergripande struktur utan att slösa beräkningsresurser.

Från tecken till ord på två sätt

Teckenspråksöversättning kan organiseras i två huvudsakliga steg: först känna igen de grundläggande enheterna i tecknandet, kända som glossor, och sedan omvandla dessa glossor till talat eller skrivet text. Detta kallas sign‑to‑gloss‑to‑text. Alternativt kan ett system försöka gå direkt från video till text i ett steg, kallat sign‑to‑text. Författarna testar ADAT i båda upplägg. De jämför det med flera starka transformer‑baserade baslinjer, inklusive ett välkänt system kallat SLTUNET, över tre dataset: ett stort tyskt väderprognosarkiv, en samling indiskt teckenspråk och ett nytt amerikanskt teckenspråksdataset för medicin som författarna skapade för att spegla realistiska läkare–patient‑samtal.

Snabbare träning och skarpare översättningar

I dessa tester matchar eller överträffar ADAT de bästa konkurrerande modellerna vad gäller översättningskvalitet, mätt med standardiserade BLEU‑poäng, samtidigt som träningen går märkbart snabbare. I tvåstegsupplägget sign‑to‑gloss‑to‑text levererar det liknande eller något bättre poäng än en klassisk transformer men minskar träningstiden med ungefär en femtedel i genomsnitt. I det svårare direkta sign‑to‑text‑upplägget presterar ADAT tydligt bättre än enkla encoder‑only, decoder‑only och enhetsbaserade transformerbaslinjer, ofta med en förbättring i noggrannhet på runt en procentenhet eller mer, återigen med ungefär 20 % snabbare träning. En detaljerad analys av den underliggande matematiken visar att ADAT:s mer selektiva uppmärksamhet och dubbelspårsdesign kraftigt minskar antalet nödvändiga operationer, särskilt för långa eller högbildfrekvensvideor.

Nya data för kritiska samtal

För att säkerställa att dessa metoder sträcker sig utanför laboratoriemiljöer introducerar författarna MedASL, det första amerikanska teckenspråksdatasetet inriktat på medicinsk kommunikation. Det består av 500 unika, noggrant utformade meningar som simulerar verkliga interaktioner mellan patienter och vårdpersonal och innehåller både gloss‑ och textannoteringar. Denna medicinska inriktning är viktig eftersom missförstånd i ett sjukhus eller en klinik kan få allvarliga konsekvenser, och befintliga dataset täcker sällan detta område. ADAT presterar starkt på MedASL, även om resultaten också visar hur utmanande det är för något system att generalisera perfekt till nya, verkliga meningar.

Vad detta betyder i vardagen

Enkelt uttryckt visar studien att vi kan bygga teckenspråksöversättningssystem som både är smartare och mer resurssnåla: de kräver mindre tid och datorkraft för träning, samtidigt som de bättre fångar tecknens nyanser. ADAT är ännu inte en färdigtolk som fungerar för alla teckenspråk i alla situationer, och det ligger fortfarande efter system som förlitar sig på stora förtränade modeller. Men genom att fokusera på tidskänsliga videomönster och effektivitet pekar det ut vägen mot praktiska verktyg som en dag skulle kunna köras på vanliga enheter, stödja flera teckenspråk och hjälpa döva användare att kommunicera enklare i kritiska situationer såsom sjukvård, räddningstjänst och offentliga tjänster.

Citering: Shahin, N., Ismail, L. ADAT novel time-series-aware adaptive transformer architecture for sign language translation. Sci Rep 16, 6551 (2026). https://doi.org/10.1038/s41598-026-36293-9

Nyckelord: teckenspråksöversättning, adaptiv transformer, tidsserieuppmärksamhet, medicinsk ASL, tillgänglig AI