מסגרת למידה חיזוקית היברידית פאזית-TD3 למעקב מסלולים חסין למוטיב הזרוע הרובוטית Mitsubishi RV-2AJ

זרועות רובוט חכמות למשימות מסובכות בעולם האמיתי

זרועות רובוט תעשייתיות מצטיינות בביצוע תנועה חזרתית בעקביות, אך הן עלולות להתקשוות כאשר המשימה או הסביבה משתנה במעט. מאמר זה מציג גישה חדשה שמעניקה לזרוע רובוט בסגנון מפעל את היציבות של בקר מסורתי יחד עם הגמישות של בינה מלאכותית. המטרה פשוטה אך תובענית: לגרום לזרוע לעקוב במדויק אחרי מסלולים תלת־ממדיים מורכבים גם כאשר ההעמסה משתנה או כאשר ניתנים דחיפות והפרעות, מבלי להצריך מודל מתמטי מושלם של המערכת.

מדוע תנועה מדויקת קשה לרובוטים

זרועות רובוט מודרניות, כמו זו בעלת חמש המפרקים Mitsubishi RV‑2AJ שנחקרה כאן, הן מערכות מכניות מורכבות. המפרקים משפיעים זה על זה, התנועה היא לא־ליניארית במידה רבה, ובמפעלים אמיתיים יש להתמודד עם חיכוך, רטט, רעש חיישנים ועומסים לא ידועים. שיטות בקרה קלאסיות, כגון בקרים מסוג PID, קלות לכוונון ונפוצות, אך מתקשות כאשר הרובוט נע במהירות, נושא חפצים שונים או נתקל בכוחות בלתי צפויים. מצד שני, למידת חיזוק עמוקה יכולה עקרונית ללמד מדיניות בקרה מצוינת בניסוי וטעיה, אך בפועל היא עלולה ללמוד באיטיות, להראות התנהגות תזזיתית בתחילה ולעתים להיות "תיבת שחור" שקשה למהנדסים לפרש או לסמוך עליה.

שילוב כללי מומחה עם למידת מכונה

כדי לגשר על הפער הזה, המחבר מציע בקרה היברידית שמשלבת מערכת לוגיקה פאזית — שמקודדת כללי מומחה בצורה ניתנת לפרשנות — עם שיטת למידת חיזוק חזקה בשם TD3. בתכנון הזה, החלק הפאזי עוקב כמה כל מפרק סוטה מהמטרה ובאיזו מהירות הטעות משתנה. הוא מפעיל מיידית מומנטים תיקון על‑פי סט קומפקטי של כללי "אם–אז", בדומה למה שמפעיל מנוסה היה עושה. זה מספק התנהגות בסיסית יציבה וברורה. במקביל, סוכן ה‑TD3 לומד, דרך סימולציה חוזרת, כיצד להוסיף מומנט "שארית" קטן שמדייק את התנועה ומפצה על השפעות שקשה למודלל אותן, כמו חיכוך לא־ליניארי או שינויים מתמידים במשקל הנשא. שני אותות המומנט פשוטים מסתכמים בכל מפרק, כך שהרובוט נשלט תמיד על ידי שותפות בין כללים מפורשים להתאמה שנלמדה.

מצב מבחן דיגיטלי למסלולים קשים

הבקר ההיברידי מאומן ונבחן בשכפול וירטואלי מפורט של הזרוע של Mitsubishi שנבנה באמצעות כלי סימולציה רב‑גופיים. סביבה זו משחזרת את הקישורים הקשיחים של הזרוע, מגבלות המפרקים וחסרונות חיישנים, ומאפשרת לאלגוריתם הלמידה לחקור בבטחה תוך התמודדות עם פיזיקה ריאליסטית. החוקרים מאתגרים את הבקר עם מסלולים תלת־ממדיים תובעניים — בצורת האות N, הליקס וספירלה — שדורשים תנועה חלקה ומסונכרנת של כל המפרקים. הם גם משרים אי־וודאות על־ידי שינוי מאסות ואינרציות של הקישורים והוספת פולסי מומנט פתאומיים המדמים פגיעות או דחיפות חיצוניות. במסגרת זו, הרכיב הפאזי מבטיח שהזרוע לא תתנהג בפראות, בעוד שסוכן ה‑TD3 משפר בהדרגה את הביצועים על‑ידי מקסום אות תגמול שמעריך דיוק, חינניות צריכה ואפקטיביות אנרגטית.

כיצד ההיברידי גובר על המתחרים

על פני כל המסלולים שנבדקו, הבקר ההיברידי פאזי‑TD3 עולה על בקר TD3 טהור ועל היבריד קודם ששילב TD3 עם בקר PID סטנדרטי. מדדי שגיאה המצטברים לאורך זמן מראים הורדות של כ‑28–50% בהשוואה ל‑TD3 בלבד וכ‑15–29% בהשוואה להיבריד מבוסס‑PID. גם כאשר הפרמטרים הפיזיים של הרובוט מופרעים ומוחלים הפרעות חיצוניות, הבקר החדש שומר על יתרונו, וחותך שגיאות בכ‑23–34% מול TD3 ובכ‑11–17% מול PID‑TD3. ניתוחים נוספים מגלים שתהליך הלמידה מתכנס באופן חלק, ההתנהגות הכוללת יציבה מספרית, וכללי הפאזי מופעלים בתבניות אינטואיטיביות — תיקונים עדינים ותכופים בתנועה שגרתית והתערבויות חזקות ונדירות כאשר הזרוע סוטה מאוד מהמטרה.

איזון בין דיוק לשימוש באנרגיה

המחקר גם מציג כי ניתן לכוונן את הבקר לוותר מעט על דיוק תמורת חיסכון אנרגטי ניכר. בהתאמה של משקל אחד בלבד בפונקציית התגמול, האלגוריתם לומד להקטין את מומנט המפרקים הממוצע ביותר מ‑20% בעוד שהעלייה בשגיאת המעקב נשארת מזערית. תכונה זו מאפשרת להתאים את אותו סכמת בקרה למשימות שבהן היעילות חשובה יותר מאשר דיוק מיקרוסקופי, ולהיפך, בלי צורך לעצב מחדש את המערכת כולה.

מה המשמעות לעתיד הרובוטים

במילים פשוטות, עבודה זו מציגה מתכון מבטיח לזרועות רובוט אמינות וברורות יותר: לתת סט ברור של כללים קריאי‑אדם לטפל בתיקונים מהירים ובבטיחות, בעוד שאלגוריתם למידה משפר בעדינות את הביצועים עם הזמן. התוצאה היא בקרה שמעט מדויקת יותר במעקב אחר מסלולים מורכבים, מתמודדת עם הפרעות, משתמשת באנרגיה בחוכמה ונשארת מוסברת למהנדסים. עיצובים היברידיים כאלה עשויים לסייע להעביר בקרה מונחת‑AI מהמעבדה אל מפעלים, מחסנים ורובוטי שירות בעולם האמיתי, שבהם אמינות ושקיפות חשובות לא פחות מאינטליגנציה גולמית.

ציטוט: Hazem, Z.B. A fuzzy-TD3 hybrid reinforcement learning framework for robust trajectory tracking of the Mitsubishi RV-2AJ robotic arm. Sci Rep 16, 12269 (2026). https://doi.org/10.1038/s41598-026-42615-8

מילות מפתח: בקרת זרוע רובוטית, למידת חיזוק, לוגיקה פאזית, מעקב מסלול, אוטומציה חסינה