تحسين الطيف الترددي لإكمال العمق من النادر إلى الكثيف مشروط بصور RGB

العمق الرقمي أوضح للآلات اليومية

تحتاج السيارات ذاتية القيادة والروبوتات الناقلة ونظّارات الواقع المعزّز أن تعرف مدى بعد الأشياء، وليس فقط شكلها. توفر أجهزة الاستشعار الليزرية الحديثة نقاط مسافة متناثرة فقط، وهو أمر نادر جداً للاعتماد عليه في الملاحة الآمنة أو الرسومات ثلاثية الأبعاد المقنعة. تعرض هذه الورقة طريقة جديدة لـ"ملء" معلومات العمق المفقودة باستخدام صور الكاميرا، منتجة خرائط مسافة مفصّلة تحافظ على حواف الأجسام حادة دون أن تخدعها نَسج السطح.

لماذا ملء المسافات صعب للغاية

يحاول إكمال العمق تحويل مجموعة نادرة جداً من عينات المسافة إلى صورة عمق كاملة، مستخدماً صورة ملونة عادية للإرشاد. تُدخِل الأنظمة السابقة غالباً معلومات اللون والعمق مباشرة داخل شبكة عصبية. هذا الاختصار يخلق مشكلتين متعارضتين. من ناحية، قد تنسخ الشبكة أنماط الطوب أو الخطوط أو الشعارات من الصورة الملونة إلى خريطة العمق كنتوءات وتجاويف مزيفة. ومن ناحية أخرى، تميل الطرق التي تمحو هذه التفاصيل الكاذبة بقسوة إلى طمس الحدود الحقيقية بين الأجسام، مثل محيط سيارة أو لافتة شارع. أصبح التوازن بين التفاصيل والموثوقية عقبة مركزية للتطبيقات الواقعية.

فصل الأشكال عن تفاصيل السطح

يقترح المؤلفون استراتيجية مختلفة: بدلاً من مزج ميزات اللون والعمق، يسمحون لصورة اللون بأن تقرر كيف يجب ترشيح بيانات العمق، دون مزج الاثنين مباشرة. تعالج الشبكة أولاً العمق النادر واللون في تفرعين منفصلين. في مراحل رئيسية من الشبكة، ينظر مكوّن يسمى وحدة التنقيح الموجه إلى ميزات اللون من خلال عدسة التردد. باستخدام تحويل الموجات (wavelet)، يقسم معلومات اللون إلى أجزاء منخفضة التردد ناعمة تلتقط الأشكال العريضة والمناطق المتغيرة ببطء، وأجزاء عالية التردد تلتقط الحواف الحادة والتفاصيل الدقيقة مثل الأوراق أو إطارات النوافذ.

مرشحات ذكية تتكيّف مع كل منطقة

بمجرد تقسيم معلومات اللون بهذه الطريقة، يتعلم الأسلوب مجموعة من المرشحات الصغيرة بأحجام مختلفة. لكل منطقة ولكل شريط ترددي، تختار الشبكة مدى حجم المرشح الذي ينبغي تطبيقه ومدى قوة تطبيقه. تُفضّل المرشحات الكبيرة في المناطق الملساء حيث ينبغي أن يتغير العمق تدريجياً، مما يساعد على نشر القياسات الموثوقة عبر المناطق الفارغة. تُستخدم المرشحات الصغيرة قرب الحواف القوية، بحيث تبقى خريطة العمق بحدود واضحة بدلاً من أن تلطّخ جسمًا في آخر. والأهم من ذلك، أن المرشحات تجمع دائماً قيم العمق مع قيم عمق أخرى فقط؛ فبيانات اللون توجه فقط أي مرشح يُستخدم وأين. يعمل هذا الاتصال "عامل لا قيمة" كعنق زجاجة يمنع نَسج السطح في صورة اللون من أن يُنقَل كعمق مزيف.

الثقة بالإشارات الموثوقة مع ترويض عدم اليقين

حتى مع الترشيح المتكيف، تبقى بعض المناطق غير مؤكدة — تخيل أشياء بعيدة تُرى خلال المطر، أو مناطق تتوفر فيها نقاط ليزرية قليلة جداً. للتعامل مع ذلك، تستخدم الشبكة آلية ثانية تقارن ميزات العمق الوسيطة من المراحل المبكرة والمتأخرة. الميزات المبكرة أقرب إلى مدخلات المستشعر الخام وتحمل حساً بالمناطق الموثوقة. يبني النموذج أقنعة انتباه تبرز مكان وجود بنية موثوقة وما هي قنوات الميزات الأكثر أهمية. ثم تعمل هذه الأقنعة على تعزيز التفاصيل الواثقة برفق وتخفيف التغيرات المشبوهة التي تُدخَل لاحقاً في خط المعالجة، مما يقلل الإفراط في التنعيم والآثار الشاردة.

مكاسب مثبتة على الطرق وفي الداخل

اختبر الفريق نهجهما على معيارين قياسيين: KITTI لمشاهد القيادة الخارجية وNYUv2 لغرف داخلية. يطابق أسلوبهما أو يتفوق باستمرار على أبرز المنافسين عبر مقاييس خطأ متعددة، مع استخدام عدد أقل من المعاملات مقارنة ببعض النماذج الأثقل. يؤدي بشكل جيد بشكل خاص عندما تكون قراءات العمق نادرة للغاية، كما عند محاكاة حسّاسات ليزر أرخص بخطوط أو نقاط مسح قليلة فقط. تُظهر المقارنات البصرية هياكل أنحف، مثل أعمدة الإنارة، محفوظة بوضوح، وتُبرز السيارات أو الأثاث مفصولة بشكل أوضح عن الخلفيات، مع موجات مزيفة أقل بكثير ناجمة عن نسخ النسيج.

ما يعنيه هذا لرؤية ثلاثية الأبعاد في العالم الحقيقي

من خلال إعادة التفكير في كيفية إرشاد صور الكاميرا لإكمال العمق، تُظهر هذه العملة أنه من الممكن الحفاظ على الإشارات المفيدة من اللون — مثل الحواف والتخطيط العام — دون وراثة نُسُجها المضللة. المفتاح هو استخدام تحليل التردد وتفاعلات مقيدة بعناية بحيث يقرر اللون كيفية دمج قيم العمق، لا ما ينبغي أن تكون عليه القيم. نتيجة لذلك، يمكن للروبوتات والمركبات وأجهزة الواقع المعزّز الحصول على خرائط عمق أكثر كثافة ووضوحاً من نفس المستشعرات النادرة، مما يقرب التنقل الآمن وتجارب ثلاثية الأبعاد أكثر استقراراً إلى الواقع اليومي.

الاستشهاد: Wang, H., Tang, Z., Pawara, P. et al. RGB-conditioned frequency domain refinement for sparse-to-dense depth completion. Sci Rep 16, 10757 (2026). https://doi.org/10.1038/s41598-026-45432-1

الكلمات المفتاحية: إكمال العمق, ليدار, الإدراك ثلاثي الأبعاد, رؤية حاسوبية, القيادة الذاتية