Wykrywanie śrub i braków śrub na podstawie obrazu w scenariuszach z wieloma kątami i złożonym tłem

Dlaczego warto sprawdzać drobne elementy złączne

W mostach, wieżach i innych konstrukcjach stalowych ukrytych jest setki tysięcy śrub, które cicho trzymają wszystko razem. Gdy zbyt wiele z tych elementów poluzuje się lub zniknie, wytrzymałość całej konstrukcji może się zmniejszyć, czasem z niebezpiecznymi konsekwencjami. Ręczna inspekcja każdej śruby jest wolna, kosztowna i podatna na błędy, szczególnie gdy pracownicy muszą wspinać się wysoko lub wciskać w trudne do osiągnięcia miejsca. W tym badaniu zbadano, jak inteligentne kamery i sztuczna inteligencja mogą automatycznie wykrywać brakujące śruby w warunkach rzeczywistych, przyspieszając kontrole bezpieczeństwa, czyniąc je bezpieczniejszymi i bardziej niezawodnymi.

Od rzeczywistych mostów do bogatej biblioteki zdjęć

Aby nauczyć komputer rozpoznawania brakujących śrub, badacze najpierw potrzebowali dużej i zróżnicowanej kolekcji zdjęć. Zebrali fotografie z trzech głównych źródeł: czynnego mostu wiszącego w naturalnej eksploatacji, stalowych wież przesyłowych w terenie oraz specjalnie zbudowanej stalowej płyty z śrubami w laboratorium. Razem dały one ponad 5 000 zdjęć przedstawiających śruby z wielu kątów, w słońcu i cieniu, z rdzą, plamami i powłokami w różnych kolorach. Aby jeszcze rozszerzyć tę bibliotekę, zespół zastosował klasyczne modyfikacje obrazu, takie jak dodawanie rozmycia i szumu czy zmiana kolorów, a także sięgnął po rodzaj „silnika wyobraźni” zwanego generatywną siecią przeciwstawną, która tworzy realistyczne nowe sceny, gdzie kluczowy obiekt — śruba — pozostaje właściwy, lecz tło i otoczenie są zróżnicowane.

Testowanie popularnych modeli SI

Mając tę bogatą bibliotekę zdjęć, zespół porównał trzy wiodące systemy widzenia komputerowego powszechnie używane do wykrywania obiektów na obrazach: trzy wersje rodziny YOLO (You Only Look Once). Systemy te skanują obraz w jednym przebiegu i proponują ramki tam, gdzie uważają, że znajdują się obiekty. Badacze zmierzyli, jak często każda wersja poprawnie wykrywała śruby i prawidłowo oznaczała puste otwory, gdzie brakowało śruby. Wszystkie trzy modele radziły sobie całkiem dobrze, ale jedna wersja — YOLOv8 — wyróżniła się, zachowując równowagę między dokładnością a szybkością. Wykrywała śruby i brakujące śruby niezawodnie, przetwarzając obrazy znacznie szybciej niż konkurenci, co czyni ją mocnym punktem wyjścia do dalszych ulepszeń.

Nauka komputera widzenia przez zgiełk

Rzeczywiste prace stalowe rzadko są fotografowane w czystym, frontalnym widoku. Śruby widoczne są pod dziwnymi kątami, w cieniu lub na tle zatłoczonym trawą, betonem i malowaną stalą. Aby sobie z tym poradzić, badacze ulepszyli model YOLOv8 poprzez dwa kluczowe dodatki. Po pierwsze, wprowadzili nowoczesny blok analizy obrazu zwany Swin-Transformer, który pomaga systemowi zauważać relacje między odległymi częściami obrazu zamiast koncentrować się tylko na małych fragmentach. Po drugie, dodano moduł wieloskalowy i poprawiający detale, który zwraca szczególną uwagę na cienkie krawędzie i małe kształty w różnych rozmiarach. Działając razem, te ulepszenia pozwoliły modelowi znacznie lepiej rozróżniać, czy małe ciemne kółko to rzeczywiście łeb śruby, pusty otwór, czy tylko myląca plama w tle.

Udowadnianie wydajności w trudnych warunkach

Ulepszony system przeszedł następnie serię testów wytrzymałościowych. Analizował obrazy śrub widzianych z płytkich i stromych kątów, przy słabym, normalnym i rażąco jasnym świetle oraz na płytach stalowych malowanych na czerwono, biało lub niebiesko i fotografowanych na tle nieporządnego, trawiastego otoczenia. W większości tych sytuacji model prawidłowo oceniał stan śruby niemal za każdym razem; nawet przy najbardziej ekstremalnych kątach kamery i najsilniejszym świetle dokładność utrzymywała się powyżej około 90 procent. Na koniec badacze posłali drona nad 15-letni most wiszący, rejestrując tysiące rzeczywistych zdjęć inspekcyjnych. Model przeanalizował ponad 12 700 zespołów śrub, poprawnie lokalizując niemal wszystkie z nich i oznaczając jeden rzeczywiście brakujący element wśród dziesiątek tysięcy — mocny sygnał, że metoda może działać poza laboratorium.

Co to oznacza dla codziennego bezpieczeństwa

Dla osób niebędących specjalistami główny wniosek jest taki, że rutynowe kontrole bezpieczeństwa dużych konstrukcji stalowych mogą wkrótce opierać się mniej na ludziach pełzających po dźwigarach z clipboardami, a bardziej na dronach i inteligentnych algorytmach. Dzięki nauce z starannie zbudowanej i zdywersyfikowanej kolekcji zdjęć oraz zastosowaniu zaawansowanych trików przetwarzania obrazu, by patrzeć przez zgiełk, system opisany w tym badaniu potrafi niezawodnie rozpoznać, czy śruba jest obecna, czy jej brakuje, nawet gdy warunki są dalekie od idealnych. Choć nie jest bezbłędny, działa już wystarczająco dobrze, by służyć jako potężna pomoc dla inspektorów, pomagając im skupić się na tych nielicznych miejscach, gdzie mogą występować rzeczywiste problemy, i ostatecznie przyczyniając się do bezpieczniejszych mostów i wież przy mniejszych zakłóceniach i niższych kosztach.

Cytowanie: Gu, Y., Peng, D., Song, J. et al. Image-based detection of bolts and bolt-missing defects in multi-angle and complex background scenarios. Sci Rep 16, 11590 (2026). https://doi.org/10.1038/s41598-026-41036-x

Słowa kluczowe: monitoring stanu konstrukcji, inspekcja mostów, widzenie komputerowe, uczenie głębokie, uszkodzenia śrub