Kompletterande visuell lokalisering och taktil kartläggningsmetod för robotisk perception av millimetermåttiga objekt med oregelbundna ytor

Robotar som kan se och känna

I många farliga miljöer — från rymdstationer till platser för kärnkraftsolyckor — förlitar sig människor på robotar för att hantera små strömbrytare, tabletter, skruvar och knappar. Men vanliga robot"ögon" misslyckas ofta när belysningen är dålig eller objekten är mycket små och ojämna. Denna artikel introducerar ett robotsensorsystem som kombinerar syn och känsel, inspirerat av hur människor först betraktar ett föremål och sedan utforskar det med fingertopparna.

Varför syn ensam inte räcker

De flesta moderna robotar förlitar sig på kameror och djupsensorer för att känna igen objekt och bestämma hur de ska röra sig. Dessa visuella verktyg fungerar bra i rena, välbelysta fabriker, men kämpar när scenen är mörk, trång eller delvis dold. Författarna visar att även kraftfulla kamerasystem kan tappa bort små föremål eller missa fina ytstrukturer, särskilt vid svagt ljus eller blänk. I sådana fall kan en robot ha en ungefärlig uppfattning om var något är, men inte om det har små bucklor, fördjupningar eller oregelbundna kanter som är avgörande för att gripa eller trycka med precision.

Att bygga ett finger som kan känna små detaljer

För att ta itu med detta problem byggde forskarna en mjuk, hudliknande beröringssensor som beter sig mer som en mänsklig fingertopp. Med bläckstråleutskrift deponerade de flexibla metallspår på ett töjbart gummiliknande material och bildade ett rutnät av tryckkänsliga pixlar. Mellan metallagren sitter en texturerad film tillverkad med vanligt sandpapper, vilket ger sensorn en fin, oregelbunden struktur som ökar dess känslighet. När sensorn trycks mot ett föremål ändras dess elektriska signal med trycket, vilket gör det möjligt att upptäcka mycket lätta beröringar — ner till storleken av ett litet riskorn — och att klara tusentals tryckningar utan att förlora prestanda.

Att omvandla känsel till formkartor

Den mjuka sensorn utökades sedan till en liten matris som kan fånga tryckmönster över ett område, ungefär som en bild med låg upplösning. När teamet tryckte ringformade eller andra komplexa objekt mot sensorn visade de resulterande tryckkartorna tydligt deras konturer och ihåliga områden, vilket visar att sensorn kan "se" former genom beröring. Datorsimuleringar bekräftade att det mjuka materialet koncentrerar stress lokalt, likt människohud, vilket hjälper det att plocka upp fina skillnader i höjd och textur på millimetermåttiga drag såsom små utbuktningar eller framskjutande delar på en yta.

Låta syn och känsel samarbeta

Det kompletta systemet använder en RGB-djupkamera för att hitta var ett föremål befinner sig i rummet och en mjuk taktil platta för att utforska dess yta. Först uppskattar kameran föremålets position och övergripande form på avstånd, ungefär som när en person kastar en blick över ett bord innan hen når ut. När visuell information blir opålitlig — på grund av skuggor, blänk eller fokuseringsproblem — för roboten sitt taktila sensor i kontakt med föremålet. Genom att skanna plattan över olika delar av ytan och sammanfoga tryckdata rekonstruerar systemet en tredimensionell profil av funktioner bara några millimeter över, såsom upphöjda kupoler på tabletter i en blisterförpackning eller små ojämnheter på en kontrollpanel.

Vad detta betyder för framtida robotar

Genom att förena kamerabaserad lokalisering med detaljerad taktil kartläggning visar detta arbete hur robotar kan hantera små, oregelbundna objekt även när de inte fullt ut kan förlita sig på sina "ögon." Studien visar att en enkel, kostnadseffektiv tryckt sensor både kan backa upp och, när det behövs, ersätta synen. Detta lägger grunden för framtida robotar som anpassar sig till förändrade förhållanden och kombinerar syn och känsel på samma sätt som människor för att utföra precisa uppgifter i stökiga, oförutsägbara eller farliga miljöer.

Citering: Jang, J., Park, BS., Oh, K.T. et al. Complementary visual localization and tactile mapping approach for robotic perception of millimeter-sized objects with irregular surfaces. Microsyst Nanoeng 12, 91 (2026). https://doi.org/10.1038/s41378-026-01190-8

Nyckelord: humanoida robotar, taktil sensning, multimodal perception, mikromanipulation, RGB-djupseende