Multimodale en hyperspectrale dataset voor segmentatie van grofvuil met VIS-, IR-, NIR- en terahertzbeeldvorming

Waarom slim afvalsorteren telt

Grof huishoudelijk afval — van gebroken kasten tot doorgezakte banken — bevat vaak veel herbruikbaar hout. Toch belandt veel ervan nog steeds verbrand of gestort omdat machines moeite hebben hout te onderscheiden van kunststoffen, metalen en vulling, vooral wanneer die materialen op elkaar liggen of in elkaar verborgen zitten. Dit artikel introduceert WoodVIT, een gedetailleerde afbeeldingsdataset die kunstmatige intelligentie moet helpen beter “in” zulke rommelige hopen te kijken, zodat toekomstige sorteersystemen meer hout veilig en efficiënt kunnen recyclen.

Afval bekijken met nieuwe soorten ogen

Conventionele recyclingmachines vertrouwen doorgaans op camera’s die ruwweg zien wat onze ogen ook zien. Dat werkt goed voor schone, losse objecten, maar grofvuil is rommelig: hout kan geverfd zijn, bedekt met stof, omwikkeld met plastic of verstevigd met metaal. De auteurs pakken dit aan door vier verschillende “blikken” op dezelfde afvalobjecten te combineren. Ze gebruiken een zichtbaarlichtcamera (gewone kleurbeelden), een nabij-infraroodcamera die materiaalspecifieke spectrale vingerafdrukken vastlegt, een thermische camera die observeert hoe objecten opwarmen en afkoelen, en een terahertzsensor die structuren onder het oppervlak kan detecteren. Elke technologie legt andere fysische eigenschappen vast en samen geven ze een vollediger beeld dan één enkele sensor.

Van kapotte meubels naar data voor machines

Om de dataset te bouwen verzamelde het team verpletterde meubels en ander grof afval van een lokaal inzamelpunt. Ze plaatsten deze gemengde stukken op gestandaardiseerde platen die onder de vier sensoren langs een transportband gingen, vergelijkbaar met een industriële sorteerlijn. Elke plaat werd eenmaal door elke sensor gefotografeerd, waarna alle vier de beelden zorgvuldig werden uitgelijnd zodat elke pixel in het ene beeld naar hetzelfde fysieke punt in de andere beelden correspondeerde. Menselijke annotatoren trokken gedetailleerde omtrekken op de kleurenbeelden en markeerden hout, metalen, kunststoffen, mineralen, bekleding en verschillende “bedekte” situaties zoals metaal verborgen onder hout of hout verborgen onder stof. Deze labels werden overgezet op de andere sensorgezichten, wat resulteerde in 56 volledig uitgelijnde scènes en 22.659 kleine beeldpatches die klaar zijn voor het trainen en testen van machine-learningmodellen.

Computers leren hout en verborgen gevaren te herkennen

De centrale taak in WoodVIT is eenvoudig te formuleren: bepaal of elk klein beeldpatch “hout” of “geen hout” is. In de praktijk betekent dit dat per patch 717 informatiekanalen over de vier sensoren heen moeten worden verwerkt. De auteurs testten verschillende neurale netwerken op deze taak en trainden ze ofwel op enkele sensoren of op alle sensoren gecombineerd. Modellen die alleen kleuropnamen gebruikten deden het redelijk, maar die waarin informatie van alle vier sensoren werd gefuseerd presteerden beter en consistenter. Hoewel thermische en terahertzgegevens op zichzelf lastiger waren om van te leren, bleken ze waardevol wanneer ze werden gecombineerd met kleur- en nabij-infraroodbeelden, vooral in lastige scènes waar hout is gecoat, opgestapeld of metalen onderdelen verbergt.

Omgaan met occlusie en complexe scènes

Een onderscheidend kenmerk van WoodVIT is de focus op realistische, “niet-ideale” situaties. De dataset bevat platen waarin metalen schroeven in hout zijn ingebed of waarin houten frames zijn omwikkeld met schuim of stof. Voor deze bedekte gevallen bouwden de onderzoekers de grondwaarheid in twee stappen op: ze fotografeerden en labelden eerst de basislaag, voegden vervolgens de bedekking toe, fotografeerden opnieuw en voegde de labels samen. Dit zorgvuldige ontwerp maakt het mogelijk te beoordelen hoe goed verschillende sensorcombinaties onthullen wat onder het oppervlak ligt. De auteurs onderzochten ook pixelniveau-segmentatie met een populair netwerkontwerp dat houtgebieden binnen elke patch afbakent. Zowel kleur- als nabij-infraroodinputs leverden nauwkeurige omtrekken op, wat laat zien dat de data niet alleen ja/nee-beslissingen ondersteunen maar ook gedetailleerde kaarten van waar het hout zich daadwerkelijk bevindt.

Wat dit betekent voor toekomstige recycling

Voor niet‑specialisten is de kernboodschap dat slimmer recyclen niet alleen gaat over het bouwen van een betere camera — het gaat om het combineren van meerdere manieren van zien tot één samenhangend beeld. WoodVIT levert het ruwe materiaal daarvoor: een publiek beschikbare, zorgvuldig gelabelde verzameling beelden die vastlegt hoe echt grofvuil eruitziet over zichtbare, infrarode en terahertzbanden. Door onderzoekers in staat te stellen geavanceerde algoritmen op dezelfde uitdagende, multimodale data te trainen en te vergelijken, legt dit werk de basis voor sorteer­systemen van de volgende generatie die meer bruikbaar hout kunnen terugwinnen, verborgen metalen vervuiling kunnen opsporen en uiteindelijk grofvuilrecycling schoner, veiliger en efficiënter kunnen maken.

Bronvermelding: Bihler, M., Roming, L., Čibiraitė-Lukenskienė, D. et al. Multimodal and Hyperspectral Dataset for Segmentation of Bulky Waste using VIS, IR, NIR, and Terahertz Imaging. Sci Data 13, 498 (2026). https://doi.org/10.1038/s41597-026-07053-1

Trefwoorden: grofvuilrecycling, multimodale beeldvorming, hyperspectrale gegevens, hout sorteren, sensorfusi