CRFusion: רשת מיזוג LiDAR-מצלמה חדשה לבניית מפות BEV

מפות דיגיטליות חכמות יותר לרכבים אוטונומיים

עבור רכב אוטונומי, הבנת הדרך שמלפנים דומה לקריאת מפה שמשתנה כל הזמן. הרכב חייב לדעת במדויק היכן נמצאים הנתיבים, מעבר החצייה וקצוות הכביש, גם בחושך, בגשם או כשמשהו חוסם את השדה. עבודה זו מציגה את CRFusion, מערכת חדשה שממזגת סורקי לייזר ומצלמות כדי לבנות מפות תקריב-מלמעלה נקיות ואמינות יותר של רחובות עירוניים, ועוזרת לרכבים אוטונומיים לשמור על נתיבם ולמנוע התנגשות בהולכי רגל בביטחון גדול יותר.

מדוע שני "עיניים אלקטרוניות" טובות יותר מאחת

רכבים אוטונומיים מודרניים נשענים בעיקר על שני חיישנים עיקריים. מצלמות לוכדות תמונות צבע עשירות, מה שמקל לזהות צבעי נתיבים, תמרורים ומעברי חצייה במרחק. סורקי לייזר, או LiDAR, משדרים פולסים של אור ומודדים את החזרה שלהם, ובונים תמונה תלת־ממדית מדויקת של מרחקים וצורות סביב הרכב. לכל אחד מהם יש חולשות: תמונות מצלמה עלולות להטעות בתאורה לקויה או מזג-אוויר קשה, בעוד שמדידות LiDAR נוטות להפוך לדלילות וחסרות פרטים ככל שהמרחק גדל. CRFusion נועדה למזג את החוזקות והחולשות האלה למפת מבט-על יחידה, מפה מלמעלה שבה כל פיקסל מייצג חתיכת שטח קטנה המתויגת כנתיב, מפריד או מעבר חציה.

מילוי החורים בראייה לטווח ארוך

אתגר מרכזי במיפוי דרך הוא שלרוב LiDAR מפספס פרטים הרחוקים מהרכב, בדיוק במקום שבו תכנון מראש חשוב ביותר. CRFusion מתמודד עם זאת באמצעות "מנבא טווח LiDAR". בפשטות, המערכת מסתכלת על מה שהמצלמה רואה רחוק בדרך ומשתמשת במידע הזה לנחש מה ה־LiDAR היה מודד אם היה צפוף ומלא. מנגנון שנקרא attention עוזר למודל להחליט אילו חלקים בתצוגת המצלמה מסבירים בצורה הטובה ביותר את האזורים הריקים או הלא ודאיים במפת ה־LiDAR. לאחר מכן הוא מחדד את הניבוי על ידי השוואה של אזורים סמוכים במפה, מחזק דפוסים עקביים כגון קווי נתיב רציפים ומפחית רעש אקראי.

להביא את החיישנים להסכמה על אותה תמונה

אפילו כאשר גם המצלמה וגם ה‑LiDAR עובדים, הם לא מתיישרים באופן מושלם. שגיאות קטנות בהערכת מרחק או במיקום החיישן יכולות לגרום לסימוני נתיב הנראים במצלמה להופיע מעט מוסטות ביחס לקריאות ה‑LiDAR. CRFusion מציגה שלב יישור שמעוות בעדינות את התכונות בתצוגת המצלמה מלמעלה כדי שיתאימו טוב יותר לתצוגת ה‑LiDAR. הדבר נעשה באמצעות רשת תיקון קלה שמנבאת כיצד כל נקודה במפת המצלמה צריכה להיות מוזזת.כתוצאה מכך, שתי תצוגות החיישנים מתארות את אותן מיקומים פיזיים בכביש, מה שהופך את המיזוג ההמשך לאמיץ יותר.

הסתגלות ליום, לילה ולמזג אוויר קשה

אפילו לאחר יישור תצוגות החיישנים, המערכת עדיין צריכה להחליט כמה לסמוך על כל תצוגה בכל מיקום. כביש שטוף שמש עם צבע נתיבים ברור שונה מאוד מלילה גשום בעיר צפופה. CRFusion מטפל בכך באמצעות מודול "מיזוג ממוקד דינמי" שמקצה משקלים גמישים לתכונות המצלמה וה‑LiDAR על פני המפה. במקום שבו החזרות ה‑LiDAR חזקות, כגון קצוות כביש בקרבה או עצמים מוצקים, המערכת נוטה יותר ל‑LiDAR. במקום שבו רמזים ויזואליים ברורים יותר, כגון פסים בוהקים של מעבר חצייה במרחק, היא סומכת יותר על המצלמה. משקלים אלו נלמדים אוטומטית מהנתונים, ומאפשרים לאסטרטגיית המיזוג להשתנות בצורה חלקה כשהתנאים משתנים.

הוכחת התועלת על נתוני העולם האמיתי

החוקרים בדקו את CRFusion על מאגר נתונים ידוע לנהיגה אוטונומית בשם NuScenes, הכולל סצינות נהיגה רבות בערים, במזג-אוויר ובשעות שונות של היום. בהשוואה לשיטות מובילות קודמות, CRFusion הפיק גבולות נתיבים, מפרידים ומעברי חציה מדויקים יותר, במיוחד במרחקים בינוניים וארוכים עד 90 מטר. הוא שיפר מדדי איכות סטנדרטיים גם ביחס לחפיפה עם המפות המציאותיות וגם ביכולת לזהות מקטעי נתיב בודדים, ומחקר אֶבְלָיצְיָה הראה שכל רכיב עיקרי — ניבוי לטווח ארוך, רשת היישור והמיזוג הדינמי — תרם שיפורים משמעותיים. דוגמאות ויזואליות חשפו רציפות נתיבים חלקה יותר ומעברי חצייה ברורים יותר, ואישרו שמפות המערכת נראות יותר כמו תכניות כביש מתוכננות בקפידה.

מה זה משמעותי לנהיגה יומיומית

עבור קהל שאינו מומחה, המסקנה המרכזית היא ש‑CRFusion עוזר לרכבים אוטונומיים לבנות מפות רחוב נקיות ואמינות יותר על ידי כך שהוא מאפשר למצלמות ו־LiDAR "לדבר זו עם זו" בצורה חכמה יותר. באמצעות ניבוי מידע LiDAR חסר מתצוגות המצלמה, יישור שתי פרספקטיבות החיישנים והתאמת מידת האמון בכל אחת בהתאם למצב, המערכת מצמצמת נקודות עיוורון וניחושים. זה מקרב את כלי הרכב האוטונומיים צעד נוסף להתמודדות עם רחובות עירוניים מורכבים ומלאי עצמים בביטחון דומה לנהג אנושי זהיר העוקב אחרי נתיבים ומעברי חציה מסומנים היטב.

ציטוט: Guan, Y., Wang, T., Cheng, Q. et al. CRFusion: a novel LiDAR-camera fusion network for BEV map construction. Sci Rep 16, 5169 (2026). https://doi.org/10.1038/s41598-026-35551-0

מילות מפתח: נהיגה אוטונומית, מיזוג LiDAR-מצלמה, מפות סמנטיות ברזולוציה גבוהה, תפיסה במבט-על, מיפוי דרכים עירוניות