Schaalbewuste dichte dynamische SLAM voor monoculaire, stereo- en RGBD-camera's

Slimmere digitale kaarten voor bewegende, veranderlijke werelden

Robotica, drones en augmented-reality-headsets hebben allemaal een gedetailleerd begrip van hun omgeving nodig om veilig en soepel te bewegen. Toch struikelen de meeste kartsystemen wanneer mensen voorbijlopen, auto’s voorbijrijden of meubels worden verplaatst. Dit artikel introduceert SDMFusion, een nieuwe karteringsaanpak die in realtime rijke, nauwkeurige 3D-kaarten kan bouwen, zelfs wanneer de wereld rond de camera vol beweging is, en die werkt met verschillende gangbare cameratypes.

Waarom traditionele visiesystemen tekortschieten

Veel robots vertrouwen op visuele SLAM, een techniek waarmee een camera zijn eigen positie bepaalt terwijl tegelijkertijd een kaart wordt opgebouwd. Klassieke systemen gaan uit van een grotendeels stilstaande wereld en leveren vaak slechts spaarzame kaarten bestaande uit enkele getraceerde punten. Ze hebben ook moeite met een enkele camera, omdat ze de werkelijke schaal van de scène niet kunnen bepalen: een klein speelgoed dicht bij de lens lijkt op een groot object ver weg. Bewegende mensen en objecten verwarren deze methoden, wat leidt tot drift in het geschatte cameratraject en onbetrouwbare kaarten. Deze zwaktes beperken het gebruik van goedkope camera’s in echte huizen, straten en werkruimtes.

Een drieluik van modules voor betrouwbare kartering

SDMFusion bouwt voort op het populaire ORB-SLAM3-systeem, maar voegt drie nauw verbonden modules toe om deze hindernissen te overwinnen. Ten eerste voedt een schaal–diepte-module elke afbeelding in een krachtig neuraal netwerk genaamd DepthAnythingV2, dat de afstand tot elke pixel raadt. Voor een enkele camera levert deze voorspelling de ontbrekende ware schaal; voor stereo- en RGB-D-camera’s wordt het gebruikt om hun ruwe dieptelezingen te verzachten en op te vullen. Ten tweede zoekt een dynamische–feature-module naar objecten die mogelijk bewegen, met een snel segmentatienetwerk geïnspireerd door de nieuwste YOLO-familie. Het groepeert zaken zoals mensen, auto’s en zelfs potentieel verplaatsbare objecten zoals stoelen, en controleert vervolgens eigenschap voor eigenschap of ze daadwerkelijk bewegen tussen frames met geometrische consistentietests. Alleen features die echt bij bewegende delen horen worden weggegooid, terwijl stabiele features behouden blijven om nauwkeurige tracking te ondersteunen. Ten derde neemt een anti-dynamische reconstructiemodule de verfijnde dieptes, betrouwbare cameraposes en maskers van statische pixels om alleen de onbeweeglijke delen samen te voegen in een dichte 3D-kaart.

Hoe de methode presteert in de praktijk

De auteurs hebben SDMFusion uitgebreid getest op drie bekende publieke datasets en op scènes die ze zelf vastlegden met een kleine drone. De gekozen datasets bestrijken buitenrijden, rommelige binnenkamers en sterk dynamische situaties met mensen die lopen, zitten of dozen optillen, vastgelegd met monoculaire, stereo- en RGB-D-camera’s. Ze vergeleken SDMFusion met meerdere geavanceerde systemen, waaronder ORB-SLAM3, DS-SLAM, DynaSLAM en RDS-SLAM, met behulp van standaardmaten voor hoe nauw het geschatte cameratraject overeenkomt met de grondwaarheid. Over de meeste sequenties behaalde SDMFusion lagere fouten en hogere succespercentages, vooral voor de meest uitdagende dynamische scènes en voor single-camera-opstellingen waar schaalinschatting het meest problematisch is. Visueel zijn zijn dichte kaarten vollediger en vrij van de “geesten” en vage vormen die verschijnen wanneer bewegende mensen per ongeluk in de statische omgeving worden samengevoegd.

Sterktes, beperkingen en toekomstige richtingen

De resultaten laten zien dat het combineren van krachtige dieptevoorspelling, zorgvuldige behandeling van dynamische objecten en selectieve reconstructie kaarten oplevert die zowel gedetailleerd als betrouwbaar zijn. SDMFusion draait in realtime op een krachtkaart voor desktops en, hoewel trager op ingebedde hardware, tonen de auteurs aanzienlijke snelheidswinst door het dieptenetwerk met TensorRT te optimaliseren. Ze onderzoeken ook het belang van elke module met ablatietests, waarmee wordt bevestigd dat schaalherstel, segmentatie en bewegingscontroles allemaal merkbaar bijdragen aan nauwkeurigheid en robuustheid. Toch kan het systeem falen wanneer bijna het volledige gezichtsveld wordt ingenomen door één bewegend object, waardoor te weinig duidelijk statische regio’s overblijven om op te leunen, en de monoculaire prestaties blijven achter bij die van stereo en RGB-D in zeer complexe scènes.

Wat dit betekent voor alledaagse robots

Voor een niet-specialist is de belangrijkste conclusie dat SDMFusion camera-gebaseerde kartering dichter bij het gewenste gedrag van robots en AR-apparaten in de echte wereld brengt: het bouwt dichte, geschaalde 3D-modellen, negeert mensen en andere verplaatsers wanneer dat passend is, en houdt zijn eigen positie zeer betrouwbaar bij. Hoewel er ruimte is voor verbetering op kleine apparaten en in extreem drukke scènes, toont dit werk een duidelijke weg naar betaalbare machines die drukke huizen, kantoren en straten kunnen navigeren met alleen lichte camera’s.

Bronvermelding: Cen, N., Xu, Y., Wong, TW. et al. Scale aware dense dynamic SLAM for monocular, stereo and RGBD cameras. Sci Rep 16, 10285 (2026). https://doi.org/10.1038/s41598-026-41208-9

Trefwoorden: visuele SLAM, 3D-kartering, robotnavigatie, dynamische omgevingen, diepte-schatting