Multimodalny i hiperspektralny zbiór danych do segmentacji odpadów wielkogabarytowych z użyciem obrazowania VIS, IR, NIR i terahercowego

Dlaczego inteligentniejsze sortowanie odpadów ma znaczenie

Duże odpady domowe — od połamanych szaf po zapadłe kanapy — często zawierają dużo nadającego się do ponownego użycia drewna. Mimo to wiele z nich trafia na wysypiska lub jest spalane, ponieważ maszyny mają problem z rozróżnieniem drewna od tworzyw sztucznych, metali czy wypełnień, zwłaszcza gdy materiały są nałożone na siebie lub ukryte wewnątrz innych elementów. W artykule przedstawiono WoodVIT, szczegółowy zestaw obrazów stworzony po to, aby sztuczna inteligencja „widziała” wewnątrz takich chaotycznych stosów lepiej, dzięki czemu przyszłe systemy sortujące będą mogły odzyskiwać więcej drewna bezpieczniej i wydajniej.

Patrząc na śmieci nowymi rodzajami „oczu”

Konwencjonalne maszyny do recyklingu zwykle polegają na kamerach widzących mniej więcej to, co widzi nasze oko. To działa dobrze dla czystych, pojedynczych przedmiotów, ale odpady wielkogabarytowe są złożone: drewno może być malowane, pokryte tkaniną, owinięte plastikiem lub wzmocnione metalem. Autorzy rozwiązują to, łącząc cztery różne „widoki” tych samych przedmiotów. Używają kamery w świetle widzialnym (zwykłe obrazy kolorowe), kamery bliskiej podczerwieni (NIR), która rejestruje widmowe odciski materiałów, kamery termicznej, która obserwuje, jak obiekty się nagrzewają i chłodzą, oraz sensora terahercowego, zdolnego wykrywać struktury ukryte pod powierzchnią. Każda technologia rejestruje inne właściwości fizyczne, a razem dają pełniejszy obraz niż jakikolwiek pojedynczy sensor.

Od zepsutych mebli do danych dla maszyn

Aby zbudować zbiór, zespół zebrał rozbite meble i inne wielkogabarytowe odpady z lokalnego zakładu. Umieszczali te mieszane fragmenty na standaryzowanych płytach, które przejeżdżały pod czterema sensorami na taśmie, naśladując linię sortowniczą w przemyśle. Każda płyta była obrazowana przez każdy sensor, a następnie wszystkie cztery obrazy zostały starannie wyrównane tak, aby każdy piksel w jednym obrazie odpowiadał temu samemu punktowi fizycznemu w pozostałych. Ludzie‑anotatorzy rysowali szczegółowe kontury na obrazach kolorowych, oznaczając drewno, metale, tworzywa sztuczne, minerały, tapicerkę oraz kilka „przykrytych” sytuacji, takich jak metal ukryty pod drewnem czy drewno pod tkaniną. Te etykiety przeniesiono na pozostałe widoki sensorów, tworząc 56 w pełni wyrównanych scen i 22 659 małych fragmentów obrazów gotowych do trenowania i testowania modeli uczenia maszynowego.

Nauka komputerów rozpoznawania drewna i ukrytych zagrożeń

Centralne zadanie w WoodVIT można łatwo sformułować: określić, czy każdy mały fragment obrazu to „drewno” czy „nie‑drewno”. W praktyce oznacza to operowanie 717 kanałami informacji na fragment, rozłożonymi na cztery sensory. Autorzy przetestowali kilka modeli sieci neuronowych, trenując je albo na pojedynczych sensorach, albo na zestawie wszystkich sensorów. Modele korzystające wyłącznie z obrazów kolorowych radziły sobie przyzwoicie, ale te, które łączyły informacje ze wszystkich czterech sensorów, wypadały lepiej i stabilniej. Dane termiczne i terahercowe same w sobie były trudniejsze do nauczenia, lecz stawały się wartościowe w połączeniu z widokami kolorowymi i NIR, szczególnie w trudnych scenach, gdzie drewno jest pokryte, ułożone warstwowo lub ukrywa metalowe elementy.

Zrozumieć zasłonięcia i złożone sceny

Cechą wyróżniającą WoodVIT jest skoncentrowanie na realistycznych, „nieidealnych” sytuacjach. Zbiór zawiera płyty, na których śruby metalowe są osadzone w drewnie albo ramy drewniane owinięte są pianką czy tkaniną. Dla tych przykrytych przypadków badacze stworzyli prawdę ziemi w dwóch krokach: najpierw obrazowali i oznaczali warstwę bazową, potem dodawali pokrycie, ponownie obrazowali i scalały etykiety. Takie podejście umożliwia ocenę, jak dobrze różne kombinacje sensorów ujawniają to, co znajduje się pod powierzchnią. Autorzy zbadali też segmentację na poziomie piksela z użyciem popularnej architektury sieciowej, która wyznacza kontury obszarów drewnianych w każdym fragmencie. Zarówno dane kolorowe, jak i NIR dawały dokładne kontury, pokazując, że zbiór wspiera nie tylko decyzje tak/nie, lecz także szczegółowe mapy lokalizacji drewna.

Co to oznacza dla przyszłego recyklingu

Dla osób spoza specjalizacji kluczowy wniosek jest taki: inteligentniejszy recykling to nie tylko lepsza kamera — to łączenie wielu sposobów obserwacji w jedną, spójną perspektywę. WoodVIT dostarcza surowca do tego celu: publicznie dostępny, starannie oznakowany zbiór obrazów, który pokazuje, jak rzeczywiste odpady wielkogabarytowe wyglądają w pasmach widzialnym, podczerwonym i terahercowym. Umożliwiając badaczom trenowanie i porównywanie zaawansowanych algorytmów na tych samych wymagających, multimodalnych danych, praca ta toruje drogę dla systemów sortowania następnej generacji, które będą mogły odzyskiwać więcej użytecznego drewna, wykrywać ukryte zanieczyszczenia metaliczne i ostatecznie uczynić recykling odpadów wielkogabarytowych czystszy, bezpieczniejszy i bardziej wydajny.

Cytowanie: Bihler, M., Roming, L., Čibiraitė-Lukenskienė, D. et al. Multimodal and Hyperspectral Dataset for Segmentation of Bulky Waste using VIS, IR, NIR, and Terahertz Imaging. Sci Data 13, 498 (2026). https://doi.org/10.1038/s41597-026-07053-1

Słowa kluczowe: recykling odpadów wielkogabarytowych, obrazowanie multimodalne, dane hiperspektralne, sortowanie drewna, fuzja sensorów