Retentive Network bevordert efficiënte RNA-taalmodellering van lange sequenties

Computers leren de RNA-berichten van het leven te lezen

Elke cel in je lichaam zit vol RNA, het molecuul dat helpt genetische instructies om te zetten in levende materie. Maar de hedendaagse biologen worden geconfronteerd met een stortvloed aan RNA-gegevens die geen mens regel voor regel kan doorlezen. Dit artikel introduceert RNAret, een compact kunstmatig-intelligencemodel dat RNA-sequenties als een taal “leest” en extreem lange reeksen genetische tekst aankan. Het doel is verborgen patronen te onthullen die laten zien hoe RNA’s vouwen, interageren en werkende blauwdrukken onderscheiden van achtergrondruis — en dat met veel minder rekenkracht dan huidige hulpmiddelen.

Een nieuwe manier om patronen in RNA te zien

RNAret is gebouwd op een opkomend AI-ontwerp genaamd Retentive Network, oorspronkelijk voorgesteld als opvolger van Transformers, de motoren achter grote taalmodellen voor menselijke tekst. In plaats van elke positie in een sequentie met elke andere te vergelijken — een stap die erg duur wordt voor lange strings — laat de retentieve benadering het model belangrijke informatie “vasthouden” terwijl het vooruitgaat, met een kostenstijging die alleen recht evenredig is met de sequentielengte. De auteurs passen dit idee toe in een encoder die in beide richtingen langs het RNA kijkt, waardoor een lichtgewicht model ontstaat met ongeveer 12 miljoen parameters dat toch duizenden RNA-letters tegelijk op een standaard onderzoeks-GPU kan verwerken.

Leren van miljoenen niet-gelabelde RNA-sequenties

Om RNAret de “grammatica” van RNA te leren, trainde het team het op bijna 30 miljoen niet-coderende RNA-sequenties uit de RNAcentral-database, zonder labels over RNA-type of functie te geven. Ze gebruikten een strategie uit de taalmodellering: verberg kleine stukjes van de sequentie en vraag het model de ontbrekende delen te raden. Over 600.000 trainingsstappen leerde RNAret gestaag deze gemaskeerde segmenten te voorspellen, wat aangeeft dat het regelmatigheden in de ordening van basen oppikte. Toen de onderzoekers later de interne representaties van het model onderzochten, zagen ze dat RNA’s met vergelijkbare rollen en lengtes vanzelf in lage-dimensionale ruimte clusterden, ook al was het model nooit verteld welke sequenties tot welke categorie behoorden.

Het model inzetten op echte biologische vragen

De auteurs testten vervolgens of deze aangeleerde RNA-patronen helpen bij praktische problemen. Eerst werd RNAret fijn afgesteld om te beoordelen of een kort regulerend RNA, een microRNA, kan binden aan een doelgebied op een langer RNA-molecuul. Op een standaardbenchmark van meer dan 27.000 microRNA–mRNA-paren presteerde de versie van RNAret die vijfletterige stukjes leest beter dan verschillende grotere RNA-taalmodellen en een gespecialiseerd deep-learninghulpmiddel, en behaalde hoge nauwkeurigheid- en F1-scores. Toen de onderzoekers de interne “retentie-scores” van het model inspecteerden, zagen ze dat het model van nature focuste op het microRNA-"seed"-gebied — de cruciale stretch die uit experimenten bekendstaat als bepalend voor binden — en het overeenkomende deel op het doel-RNA, wat aangeeft dat de beslissingen van het model gegrond waren in echte biologie in plaats van spookachtige shortcuts.

Vormen reconstrueren en RNA-typen sorteren

Vervolgens daagde het team RNAret uit om te voorspellen hoe enkele RNA-strengen terugvouwen tot secundaire structuren. Met schone benchmarkdatasets produceerde de eenvoudigste versie van RNAret (één base per keer) contactkaarten van baseparen die vaak dichter bij de experimenteel bekende structuren lagen dan populaire deep-learning- en thermodynamische hulpmiddelen, vooral voor RNA’s van gemiddelde lengte. De output van het model, gecombineerd met een naverwerkingsstap die fysieke regels afdwingt over welke basen kunnen paren, leverde schonere, minder rumoerige voorspellingen op. In een derde test leerde RNAret coderend RNA te onderscheiden van lange niet-coderende RNA in mens- en muizengenomen. Omdat het volledige transcripties kan verwerken zonder ze op te knippen, ging het goed om met gedeeltelijke en lange sequenties en overtrof het klassieke open-reading-frame-methoden en de meeste concurrerende RNA-taalmodellen, met name op de grote menselijke dataset.

Snel, efficiënt en klaar om te groeien

Buiten nauwkeurigheid is RNAret ontworpen om snel te zijn. Dankzij de retentie-gebaseerde architectuur verwerkt het model tijdens pretraining op een enkele high-end GPU in de orde van honderdduizend RNA-eenheden per seconde, en het blijft efficiënt zelfs wanneer het wordt fijn afgesteld voor structuurvoorspelling of classificatie. Ondanks dat het veel kleiner is dan veel recente biologische taalmodellen, bereikt het state-of-the-art of bijna state-of-the-art prestaties op diverse taken. De auteurs zien dit als een proof of concept dat Retentive Networks als praktische, interpreteerbare motoren voor biologische sequentieanalyse kunnen dienen. Met verdere afstemming en uitbreidingen naar DNA en eiwitten zouden RNAret en verwante modellen alledaagse hulpmiddelen kunnen worden om ruwe sequentiegegevens om te zetten in inzichten over hoe moleculen interageren, vouwen en de instructies van het leven uitvoeren.

Bronvermelding: Shen, Y., Cao, G., Hu, Y. et al. Retentive Network promotes efficient RNA language modeling of long sequences. Commun Biol 9, 575 (2026). https://doi.org/10.1038/s42003-026-09757-x

Trefwoorden: RNA-taalmodel, Retentive Network, RNA-structuurvoorspelling, microRNA-interacties, lange niet-coderende RNA