RGB-sterowane dopracowanie w dziedzinie częstotliwości dla uzupełniania głębi od rzadkiej do gęstej

Bardziej ostre cyfrowe mapy odległości dla codziennych maszyn

Samojezdne samochody, roboty dostawcze i zestawy rozszerzonej rzeczywistości muszą wiedzieć, jak daleko coś się znajduje, nie tylko jak to wygląda. Nowoczesne czujniki laserowe dostarczają jedynie garść punktów odległości, co jest zbyt skąpe dla bezpiecznej nawigacji czy przekonującej grafiki 3D. W artykule przedstawiono nowy sposób „uzupełniania” brakujących informacji o głębi za pomocą obrazów z kamery, tworząc szczegółowe mapy odległości, które zachowują ostre krawędzie obiektów bez bycia zmylone teksturami powierzchni.

Dlaczego uzupełnianie odległości jest takie trudne

Uzupełnianie głębi próbuje zamienić bardzo rzadki zestaw próbek odległości w pełny obraz głębi, wykorzystując zwykłe zdjęcie kolorowe jako wskazówkę. Wcześniejsze systemy często mieszały informacje kolorystyczne i głębi bezpośrednio wewnątrz sieci neuronowej. Ta skrótowa metoda rodzi dwa przeciwstawne problemy. Z jednej strony sieć może skopiować wzory cegieł, paski lub logotypy z obrazu kolorowego do mapy głębi jako fałszywe wypukłości i wgniecenia. Z drugiej, metody, które agresywnie wygładzają takie fałszywe detale, mają tendencję do rozmywania prawdziwych granic między obiektami, jak kontur samochodu czy znak drogowy. Zrównoważenie szczegółu i wiarygodności stało się kluczową przeszkodą dla zastosowań w świecie rzeczywistym.

Oddzielenie kształtów od detali powierzchni

Autorzy proponują inną strategię: zamiast mieszać cechy koloru i głębi, pozwalają obrazowi kolorowemu zdecydować, jak dane głębi powinny być filtrowane, nie mieszając tych dwóch bezpośrednio. Ich sieć najpierw przetwarza rzadką głębię i kolor w oddzielnych gałęziach. W kluczowych etapach sieci moduł zwany Guided Refinement Module analizuje cechy kolorów przez pryzmat częstotliwości. Przy użyciu transformaty falek rozdziela informacje kolorystyczne na gładkie, niskoczęstotliwościowe części, które uchwytują szerokie kształty i wolno zmieniające się obszary, oraz składniki wysokoczęstotliwościowe, które wyłapują ostre krawędzie i drobne tekstury, jak liście czy ramy okien.

Sprytne filtry dopasowane do każdego regionu

Gdy w ten sposób rozdzielono informacje kolorystyczne, metoda uczy się rodziny małych filtrów obrazu o różnych rozmiarach. Dla każdego regionu i każdego pasma częstotliwości sieć wybiera, jak duży filtr zastosować i z jaką siłą go użyć. Duże filtry są preferowane w gładkich obszarach, gdzie głębia powinna zmieniać się stopniowo, pomagając rozprowadzić wiarygodne pomiary po pustych regionach. Małe filtry stosuje się w pobliżu silnych krawędzi, tak aby mapa głębi zachowała wyraźne granice zamiast rozmazywać jeden obiekt w drugi. Kluczowe jest to, że filtry zawsze łączą tylko wartości głębi z innymi wartościami głębi; dane kolorystyczne jedynie sterują tym, który filtr zastosować i gdzie. To „operator, nie wartość” działa jako wąskie gardło, które zapobiega odciskaniu tekstur powierzchni z obrazu kolorowego jako fałszywej głębi.

Ufać wiarygodnym sygnałom, ujarzmiając niepewność

Nawet przy adaptacyjnym filtrowaniu niektóre obszary pozostają niepewne — pomyśl o odległych obiektach widzianych przez deszcz albo regionach z bardzo niewielką liczbą punktów laserowych. Aby sobie z tym poradzić, sieć wykorzystuje drugi mechanizm, który porównuje pośrednie cechy głębi z wczesnych i późnych etapów. Wczesne cechy są bliższe surowemu wejściu sensora i niosą informację o tym, które regiony są godne zaufania. Model buduje maski uwagi, które podkreślają, gdzie struktura jest wiarygodna i które kanały cech są najważniejsze. Te maski następnie łagodnie wzmacniają pewne detale i tłumią podejrzane zmiany wprowadzone później w potoku, zmniejszając nadmierne wygładzanie i przypadkowe artefakty.

Udowodnione korzyści na drogach i w pomieszczeniach

Zespół testuje swoje podejście na dwóch standardowych zestawach: KITTI dla scen zewnętrznych i NYUv2 dla wnętrz. Ich metoda konsekwentnie dorównuje lub przewyższa czołowych konkurentów w różnych miarach błędu, przy tym używając mniej parametrów niż niektóre z najcięższych modeli. Szczególnie dobrze radzi sobie, gdy odczyty głębi są ekstremalnie rzadkie, na przykład przy symulacji tańszych czujników laserowych z zaledwie kilkoma liniami skanowania lub punktami. Porównania wizualne pokazują cieńsze struktury, takie jak słupy oświetleniowe, zachowane w czysty sposób oraz samochody i meble wyraźniej oddzielone od tła, z znacznie mniejszą liczbą fałszywych falowań spowodowanych kopiowaniem tekstury.

Co to oznacza dla praktycznej wizji 3D

Przemyślenie, w jaki sposób obrazy z kamer kierują uzupełnianiem głębi, pokazuje, że można zachować przydatne wskazówki z koloru — takie jak krawędzie i ogólny układ — bez przejmowania mylących tekstur. Kluczem jest użycie analizy częstotliwości i starannie ograniczonych interakcji, tak aby kolor decydował o tym, jak wartości głębi są łączone, a nie jakie te wartości powinny być. W rezultacie roboty, pojazdy i urządzenia AR mogą otrzymać gęstsze, ostrzejsze mapy głębi z tych samych rzadkich sensorów, przybliżając bezpieczniejszą nawigację i bardziej stabilne doświadczenia 3D do codziennej rzeczywistości.

Cytowanie: Wang, H., Tang, Z., Pawara, P. et al. RGB-conditioned frequency domain refinement for sparse-to-dense depth completion. Sci Rep 16, 10757 (2026). https://doi.org/10.1038/s41598-026-45432-1

Słowa kluczowe: uzupełnianie głębi, lidar, percepcja 3D, wizja komputerowa, autonomiczna jazda