אימון חסכוני בזיכרון לרשתות רישום תמונות מוח תלת־ממדיות באמצעות PatchMorph

להבין כמות גדולה של סריקות מוח

מחקר מוח מודרני נשען על השוואת סריקות תלת־ממד של אנשים ובעלי חיים רבים, אך כל תמונת מוח שונה במעט בגודל, בצורה וברזולוציה. ליישרן בדיוק רב, בלי להסתמך על מחשבים ענקיים, מהווה אתגר מרכזי. המאמר מציג את PatchMorph, שיטה חדשה ליישור תמונות מוח תלת־ממדיות גדולות שמקטינה בצורה דרמטית את צריכת הזיכרון תוך שמירה או אפילו שיפור של הדיוק, ובכך מאפשרת חקר מאגרי נתונים מוחיים גדולים ומעשירים יותר.

למה יישור מוח כל כך קשה

כדי להשוות בין מוחים, מדענים קודם כל "רושמים" תמונה תלת־ממדית אל תמונה אחרת — מעקמים את נפח התמונה כך שמבנים מקבילים יתאימו. כלים קלאסיים עושים זאת על ידי כוונון איטי של שדה העיוות עד שמקסימים מדד דמיון בין התמונות. שיטות מודרניות של למידה עמוקה כמו VoxelMorph לומדות לחזות את העיוות בבת אחת, מה שעושה את הרישום הרבה יותר מהיר. עם זאת, רוב הרשתות הללו מצפות ששתי התמונות הקלט ישתפו את אותה גריד ורזולוציה, ולעתים נאלצות לעבד נפחים תלת־ממדיים שלמים בבת אחת. ככל שגדלי התמונות ומורכבות המודלים גדלים, צריכת זיכרון הגרפיקה מתפוצצת במהירות, וכופה על החוקרים לקצץ, לחתוך או לעבד את הנתונים באופן נרחב מראש.

מביטים על המוח חתיכה־חתיכה

PatchMorph פותר את צוואר הבקבוק הזה בכך שהוא לעולם לא טוען את הנפחים התלת־ממדיים המלאים לרשת בבת אחת. במקום זאת הוא עובד על "חלקים" תלת־ממדיים קטנים המדגמיים ברחבי מרחב ייחוס משותף שמכסה את התמונה הקבועה. ברמה גסה, השיטה מניחה חתיכות יחסית גדולות על כל המוח, מוצאת חתיכות מקבילות בתמונה הנעה באמצעות טרנספורמציות קואורדינטות מדויקות ומזינה אותן לרשת רישום קומפקטית. הרשת חוזה כיצד כל חתיכה צריכה להזיז ולהתעקם כדי שהתוכן המקומי יתאים. תחזיות מקומיות רבות אלו מפוזרות חזרה לשדה עיוות גלובלי בעזרת אינטרפולציה חלקה, כך שעיוות המוח כולו נשאר רציף.

מחתיכות גדולות לפרטים עדינים

PatchMorph מתקדם בסקאלות מרובות, מגסות לעדינות. בסקאלה הראשונה, חתיכה מכסה אזור מוחי גדול ברזולוציה נמוכה, ותופסת אי־התאמות רחבות כמו גודל כולל או מיקום. בסקאלות הבאות, חתיכות חדשות "מזנקות" אל תת־אזורים של חתיכות שנדגמו קודם, אך תמיד שומרות על אותו מספר ווקסלים לכל חתיכה בזיכרון. משמעות הדבר היא שסקאלות עדינות יותר מוסיפות פרטים פיזיים בלי להגדיל את דרישת הזיכרון. מיקומי החתיכות ברמות העדינות נבחרים באופן סטוכסטי בתוך חתיכת האב שלהם, כך שהשיטה לא מתמקדת רק במרכזי החתיכות אלא לומדת בהדרגה ליישר גם מבנים פריפריים. לאורך הסקאלות, העיוותים המוערכים מצטברים לשדה גלובלי יחיד, שמעודן שלב אחר שלב ועדיין נשאר עקבי מרחבית.

עבודה עם נתוני מוח אמיתיים

המחברים בדקו את PatchMorph על שני מאגרים תובעניים: סריקות MRI T1 של בני אדם מפרויקט MindBoggle ותמונות מוח של מרמוסט גבוהה רזולוציה שנרכבו במיקרוסקופיה סריאלית דו־פוטונית. תמונות אלה שונות בגודל המערך, בכיוון ולעתים בריווח הווקסלים — תנאים שמעמיסים על רשתות קונבנציונליות. PatchMorph השיג תוצאות השוות או מעל לשיטות רישום למידה עמוקה מתקדמות מבחינת חפיפה בין אזורים מסומנים במוח, תוך שמירה על שיעורים נמוכים מאוד של שגיאות טופולוגיות (עקמומים בלתי מציאותיים בשדה העיוות). חשובה לא פחות, כאשר מאמנים עם ארכיטקטורות מבוססות טרנספורמר, PatchMorph הקטין את הזיכרון הנדרש לתמונות של 256^3 ווקסלים מכ־40 GB לכמעט פחות מ־10 GB, מבלי להתפשר על הדיוק.

מהירות, פשרות ושימושים עתידיים

מכיוון ש־PatchMorph חייב לחלץ ולשלב מחדש חתיכות רבות, הוא איטי מעט יותר בזמן ההסקה ביחס לרשתות שמעבדות נפח מלא בבת אחת, אם כי עדיין הרבה יותר מהיר מכלים איטרטיביים קלאסיים. בתמורה, הוא מסוגל לטפל בתמונות גדולות, ברזולוציה גבוהה ובדגימה לא אחידה ישירות במרחב המקורי שלהן, ויכול להשתמש במגוון ארכיטקטורות גב — מרשתות קונבולוציוניות פשוטות ועד טרנספורמרים מתקדמים. זה מקל על הבאת מודלי למידה עמוקה חזקים למחקרים דימות מוחי בעולם האמיתי שלא היו נכנסים לזיכרון קודם לכן. במובן מעשי, PatchMorph מראה שבראייה בחתיכות במקום בנפחים מלאים, ניתן ליישר נתוני מוח תלת־ממד מורכבים בדיוק, ביעילות ובקנה מידה שהיו מחוץ להישג יד בעבר.

ציטוט: Skibbe, H., Byra, M., Watakabe, A. et al. Memory efficient training for 3D brain image registration networks using PatchMorph. Sci Rep 16, 14386 (2026). https://doi.org/10.1038/s41598-026-44858-x

מילות מפתח: רישום תמונות מוח, למידה עמוקה, תמוה רפואי, MRI תלת־ממדי, PatchMorph