En undervattensbildsdatabas för occlusionsmedveten segmentering av fiskinstanser

Varför det är svårt att räkna fisk under vatten

Fiskodlingar utvecklas till högteknologiska anläggningar där kameror och algoritmer tyst bevakar tusentals djur. Ändå visar sig en förhållandevis enkel uppgift — att skilja en fisk från en annan i ett trångt kar — vara mycket svår. Fiskar simmar över och under varandra, blockerar kamerans sikt och syns bara i fragment i bildens kant. Denna artikel presenterar en ny samling undervattensbilder, Fish Occlusion Dataset (FOD), skapad för att hjälpa datorer att känna igen individuella fiskar även när de är delvis dolda. Den förmågan är avgörande för att automatisera utfodring, hälsokontroller och beståndsbedömning i modern akvakultur.

Ett nytt bildarkiv för trånga fiskkar

Hjärtat i arbetet är en stor, noggrant kuraterad uppsättning undervattensfotografier av karpfiskar (crucian carp), en vanlig odlad art. Forskarna filmade 66 fiskar i ett kar med en specialiserad undervattenskamera monterad ovanför vattnet och extraherade sedan stillbilder från videorna. Efter att ha tagit bort nästan identiska bilder fick de över tusen enskilda fiskbilder och flera hundra scener med flera fiskar. Varje synlig fisk var konturerad för hand på pixelnivå, vilket gav datorer tillgång till precisa former istället för grova rutor. Totalt innehåller FOD 14 376 bilder och 144 894 noggrant märkta fiskar, vilket gör det till en av de mest detaljerade publika resurserna i sitt slag.

Att lära datorer att se genom överlappning

För att verkligen pröva hur väl algoritmer klarar trängsel behövde teamet många exempel där fiskar överlappar. Att rita detaljerade konturer i sådana scener är extremt tidskrävande, så de använde en smart genväg. Först genererade de högkvalitativa masker för individuella fiskar. Sedan klippte de digitalt ut dessa fiskar och klistrade in dem på bakgrundsbilder i nya arrangemang. Genom att rotera, skala och flytta fiskarna, och genom att begränsa hur mycket de kan täcka varandra, skapade de 13 000 syntetiska bilder med realistiska, täta stim och kontrollerad överlappning. Mjuka övergångar i kanterna får dessa kompositer att se naturliga ut. Den slutliga datamängden blandar original- och syntetscener och ger både variation och realism.

Att grader a hur dolda fiskarna är

All okklusion är inte likadan: en fisk som är helt synlig är mycket lättare att känna igen än en som bara syns som några spridda bitar. För att fånga detta delade författarna in varje fisk i tre enkla grupper. "Hela" fiskar är helt synliga, "del"-fiskar är delvis blockerade av andra, och "fragment"-fiskar förekommer endast som separata bitar. Detta extra lager av märkning låter forskare se exakt var deras algoritmer har problem. När de analyserade siffrorna fann de att de flesta fiskar i datasetet hamnar i "del"-gruppen, vilket speglar vad som verkligen händer i trånga kar. De visade också att traditionella sammanfattande poäng kan dölja misslyckanden på små fragment, så att rapportera resultat efter okklusionsnivå ger en klarare bild av modellernas styrkor och svagheter.

Hur nuvarande algoritmer står sig

För att demonstrera vad FOD kan användas till testade teamet åtta populära bildsegmenteringsmetoder, inklusive både långvariga detektionsbaserade modeller och nyare "förslagsfria" konstruktioner som arbetar mer direkt med bildregioner. Alla uppnådde hög genomsnittlig noggrannhet på datasetet, och en metod, Mask2Former, utmärkte sig genom att producera skarpast konturer, särskilt när fiskar överlappade. Ändå började även de bästa modellerna att svikta när fiskar var uppdelade i fragment — prestandan föll tydligt jämfört med fullt synliga fiskar. En extra experiment visade varför FOD:s blandning av verkliga och syntetiska data är viktig: träning enbart på verkliga scener ledde till dålig hantering av okklusion, medan träning bara på syntetiska missade vissa detaljer i verkliga bilder. En kombination av båda gav de mest robusta modellerna.

Vad detta betyder för smartare fiskodlingar

I praktiska termer erbjuder denna nya datamängd en provbänk för datorvisionssystem som måste fungera i riktiga fiskodlingar, där fria siktlinjer är undantaget snarare än regeln. Genom att medvetet fokusera på överlappande fiskar och genom att dela både bilderna och koden som användes för att bygga dem, ger författarna en grund för mer pålitliga, okklusionsmedvetna övervakningsverktyg. Även om den nuvarande samlingen endast täcker en art i ett kontrollerat kar kan samma metod utvidgas till andra fiskar och mer utmanande miljöer. När dessa tekniker sprids kan fiskodlare få kontinuerlig, exakt information om beståndsstorlek, beteende och tillväxt — vilket hjälper dem att använda foder mer effektivt, upptäcka hälsoproblem tidigt och driva mer hållbara verksamheter.

Citering: Wang, X., Yu, H., Zhang, C. et al. An underwater image dataset for occlusion-aware fish instance segmentation. Sci Data 13, 526 (2026). https://doi.org/10.1038/s41597-026-06898-w

Nyckelord: undervattensavbildning, fiskodling, datorseende, instanssegmentering, okklusion