שילוב לוקליזציה חזותית ומיפוי חישת מגע לתפיסה רובוטית של חפצים בגודל מילימטר עם משטחים בלתי סדירים

רובוטים שיכולים לראות ולהרגיש

במקומות מסוכנים רבים — מתחנות חלל ועד אתרי תאונות גרעיניות — בני אדם סומכים על רובוטים כדי לטפל במתגים זעירים, כדורים, ברגים וכפתורים. אך "העיניים" של רובוטים רגילים נכשלים לעתים כשהתאורה לקויה או כשהאובייקטים קטנים ומחוספסים. מאמר זה מציג מערכת חישה רובוטית המשלבת ראייה ומגע, בהשראת האופן שבו אנשים מסתכלים תחילה על אובייקט ואז חוקרים אותו בעזרת קצות האצבעות.

מדוע ראייה בלבד אינה מספיקה

רוב הרובוטים המודרניים סומכים על מצלמות וחיישני עומק כדי לזהות חפצים ולהחליט כיצד לזוז. הכלים החזותיים האלה פועלים היטב במפעלי ייצור נקיים ומוארים היטב, אך מתקשים כאשר הסצנה חשוכה, צפופה או מכוסה חלקית. המחברים מראים שאפילו מערכות מצלמה חזקות יכולות לאבד מעקב אחרי פריטים קטנים או לפספס פרטים דקים על המשטח, במיוחד בתאורה חלשה או בזוהר. במצבים כאלה, הרובוט עשוי לדעת בערך היכן משהו נמצא, אך לא אם יש לו גושים זעירים, שקעים או קצוות בלתי סדירים החיוניים לאחיזה או ללחיצה מדויקת.

בניית אצבע שיכולה להרגיש פרטים זעירים

כדי להתמודד עם הבעיה, החוקרים בנו חיישן מגע רך בדומה לעור, המתנהג יותר כמו קצה אצבע אנושי. באמצעות הדפסה בטכנולוגיית אינקג'ט הם הניחו מסלולים גמישים של מתכת על חומר גמיש ואלסטי, ויצרו רשת של פיקסלים רגישי־לחץ. בין שכבות המתכת נמצאת שכבת סרט מרקם שיוצרה באמצעות נייר שיוף רגיל, מה שמעניק לחיישן מבנה דק ובלתי-סדיר שמגביר את רגישותו. כאשר החיישן נלחץ כנגד אובייקט, האות החשמלי שלו משתנה בהתאם ללחץ, מה שמאפשר לו לזהות מגעים עדינים ביותר — עד לרמת גרגיר אורז קטן — ולהחזיק מעמד באלפי מחזורי לחיצה ושחרור בלי לאבד ביצועים.

הפיכת מגע למפות צורה

לאחר מכן הרחיבו את החיישן הרך למערך קטן שיכול ללכוד דפוסי לחץ על שטח, בדומה לתמונה ברזולוציה נמוכה. כשצוות המחקר לחץ עצמים בצורת טבעות או עצמים מורכבים אחרים על החיישן, מפות הלחץ שהתוצרו חשפו בבירור את קווי המתאר והאזורים החלולים, מה שהראה שהחיישן יכול "לראות" צורות באמצעות מגע. סימולציות מחשב אישרו שהחומר הרך מרוכז מאמץ מקומי באופן דומה לעור אנושי, מה שעוזר לו לקלוט הבדלים עדינים בגובה ובמרקם על תכונות בגודל מילימטר, כגון בליטות זעירות או בולטים על משטחים.

תיאום בין ראייה ומגע

המערכת המלאה משתמשת במצלמת RGB-עומק כדי למצוא היכן האובייקט נמצא במרחב ובמשטח מגע רך כדי לחקור את פניו. תחילה המצלמה מעריכה את מיקום האובייקט ואת צורתו הכללית מרחוק, בדומה לאדם שמביט על שולחן לפני שהוא מושיט יד. כאשר המידע החזותי הופך ללא מהימן — עקב צללים, זוהר או בעיות מיקוד — הרובוט מביא את חיישן המגע במגע עם האובייקט. על ידי סריקת המשטח עם הכרית וחיבור נתוני הלחץ, המערכת משחזרת פרופיל תלת־ממדי של תכונות רוחבן רק כמה מילימטרים, כגון מבני כיפה מורמים של גלולות באריזת בליסטר או בליטות קטנות על לוח פיקוד.

ממצאים ומשמעות לעתיד הרובוטים

על ידי מיזוג לוקליזציה מבוססת מצלמה עם מיפוי מפורט על בסיס מגע, עבודה זו מראה כיצד רובוטים יכולים להתמודד עם חפצים זעירים ובלתי־סדירים גם כאשר הם לא יכולים לסמוך במלואם על "עיניהם". המחקר מדגים שחיישן מודפס פשוט וזול יכול גם לתמוך בראייה וגם, כשנדרש, להחליף אותה. הזה מספק בסיס לרובוטים עתידיים שיתאימו את עצמם לתנאים משתנים, וישלבו ראייה ומגע כפי שבני אדם עושים כדי לבצע משימות מדויקות בסביבות מבולגנות, בלתי צפויות או מסוכנות.

ציטוט: Jang, J., Park, BS., Oh, K.T. et al. Complementary visual localization and tactile mapping approach for robotic perception of millimeter-sized objects with irregular surfaces. Microsyst Nanoeng 12, 91 (2026). https://doi.org/10.1038/s41378-026-01190-8

מילות מפתח: רובוטים הומנואידיים, חישה באמצעות מגע, תפיסה מולטי-מודלית, מיקרומניפולציה, ראיית RGB-עומק