TinyML pipeline do wydajnej klasyfikacji rys w inspekcjach stanu technicznego realizowanych dronami

Mądrzejsze oczy na niebie

Mosty, zapory i inne kluczowe konstrukcje starzeją się tak jak ludzie, a drobne pęknięcia mogą być wczesnym wskaźnikiem przyszłych awarii. Inżynierowie coraz częściej wysyłają małe drony, by fotografowały te powierzchnie, ale dziś wiele z tych zdjęć trzeba przesyłać do odległych serwerów w celu analizy, co zużywa baterię i stwarza ryzyko dla prywatności danych. Niniejszy artykuł bada, jak zmieścić „mózg” wykrywający rysy w maleńkim układzie o mocy rzędu miliwatów, który może działać bezpośrednio na dronie, przyspieszając i upraszczając inspekcje oraz znacząco zwiększając ich wydajność.

Dlaczego pęknięcia mają znaczenie

Tradycyjne metody śledzenia stanu konstrukcji często polegają na czujnikach stykowych przykręcanych lub przyklejanych do betonu i stali. Systemy takie bywają kosztowne w instalacji i zwykle wykrywają problemy dopiero po zaawansowaniu uszkodzeń. Inspekcja wizualna daje bardziej bezpośredni ogląd, ale wysyłanie ludzkich inspektorów na rusztowania czy do pasów ruchu jest powolne, ryzykowne i subiektywne. Małe bezzałogowe statki powietrzne (UAV) wyposażone w kamery oferują lepsze rozwiązanie: mogą szybko skanować nawierzchnie mostów i ściany, wykonując tysiące szczegółowych zdjęć ujawniających włosowate pęknięcia. Problem stanowi to, co zrobić z tak dużą ilością danych, gdy dron ma ograniczoną żywotność baterii i często zawodną łączność sieciową.

Problem wysyłania wszystkiego do chmury

Większość obecnych systemów stosuje wzorzec „zebranie na krawędzi – wnioskowanie w chmurze”. Dron pełni rolę latającej kamery, przesyłając obrazy do wydajnego komputera gdzie indziej, który uruchamia model głębokiego uczenia, by ocenić, czy dana część betonu zawiera pęknięcie. Z punktu widzenia obliczeń to ma sens, ale ma poważne wady. Strumieniowanie obrazów wysokiej jakości drenuje baterię drona, drastycznie skracając czas lotu. Jeśli łącze bezprzewodowe przerywa lub słabnie, misja inspekcyjna może utknąć w najmniej odpowiednim momencie. A przesyłanie szczegółowych zdjęć strategicznej infrastruktury na zdalne serwery budzi uzasadnione obawy o prywatność i bezpieczeństwo. Te napięcia motywują inne podejście: umieszczenie inteligencji bezpośrednio na dronie, na sprzęcie ledwie wydajniejszym od zegarka cyfrowego.

Zmniejszanie „mózgu” do rozmiarów układu

Autorzy zbudowali kompletny pipeline działający na niskomocowym mikrokontrolerze STM32H7, wykorzystując kompaktową sieć neuronową MobileNetV1x0.25. Zamiast wynajdować nowy model, skupili się na wszystkim wokół niego: jak obrazy są wstępnie przetwarzane i jak model jest kompresowany. Wykorzystali szeroko badany zbiór ponad 50 000 zdjęć betonu, podzielonych na małe fragmenty oznaczone jako „pęknięcie” lub „bez pęknięcia”, a następnie trenowali i testowali różne sposoby przygotowania tych fragmentów dla małego modelu. Jedna ścieżka polegała na ręcznie dobranej sekwencji kroków, takich jak konwersja do skali szarości, zwiększanie kontrastu, usuwanie szumów, wygładzanie, a na końcu przekształcenie obrazów w ostre sylwetki czarno-białe. Inna ścieżka pozwoliła strategii „chciwego” przeszukiwania budować łańcuch przetwarzania krok po kroku, zawsze zachowując kombinację, która rzeczywiście poprawiała wydajność modelu.

Znajdowanie złotego środka w pipeline

Testy wykazały, że większa ilość przetwarzania nie zawsze oznacza lepsze wyniki. Ręczny pipeline, który kończył się ostrą binarizacją, faktycznie zaszkodził sieci neuronowej, pozbawiając ją subtelnych odcieni, których model potrzebował do wykrywania cienkich rys. W przeciwieństwie do tego, chciwe przeszukiwanie znalazło, że prostsza para kroków — konwersja do skali szarości, a następnie filtr medianowy delikatnie wygładzający szumy — dała najlepsze rezultaty. Dodatkowo zespół systematycznie zbadał cztery sposoby zmniejszania modelu: konwersję parametrów z pełnej precyzji do ośmiobitowych liczb całkowitych, trenowanie z uwzględnieniem kwantyzacji, przycinanie mniej istotnych wag oraz grupowanie podobnych wartości wag. Przetestowali te techniki pojedynczo i w kombinacjach, a następnie wdrożyli powstałe modele na płytce mikrokontrolera i mierzyli nie tylko dokładność, ale też użycie pamięci, czas przetwarzania i energię zużywaną na decyzję.

Maleńki komputer, duża wydajność

Jedna konfiguracja okazała się najlepszym wyborem w ogólnym rozrachunku: wejście składające się z konwersji do skali szarości i filtra medianowego zasilające model łączący przycinanie z treningiem uwzględniającym kwantyzację w formacie ośmiobitowym. To zwarte rozwiązanie osiągnęło wynik F1 — równowagę między wykrywaniem rzeczywistych pęknięć a unikaniem fałszywych alarmów — na poziomie 0,938, czyli wzrost o ponad 11 punktów procentowych w porównaniu z wcześniejszymi detektorami pęknięć działającymi na urządzeniu. Jednocześnie potrzebowało jedynie około 2,9 megabajta pamięci roboczej, 309 kilobajtów pamięci programu i mniej niż pół sekundy na przetworzenie każdego fragmentu obrazu. Każda decyzja zużywała około 0,6 dżula energii. Po zamontowaniu na dronie DJI Mini 4 Pro ciągłe uruchamianie tego klasyfikatora pęknięć skróciłoby czas lotu zaledwie o około 4 procent, w porównaniu z około jedną czwartą baterii pochłanianej przez popularne, znacznie cięższe płytki edge-computingu.

Co to oznacza dla rzeczywistych inspekcji

Dla nietechnicznych czytelników kluczowy przekaz jest taki, że rzetelna ocena stanu konstrukcji nie musi już oznaczać wysyłania wrażliwych zdjęć do odległych centrów danych ani noszenia masywnych, energochłonnych komputerów w powietrzu. Poprzez staranne dostrojenie sposobu oczyszczania obrazów i kompresji sieci neuronowej, autorzy pokazują, że układ wielkości kciuka może niezawodnie wykrywać pęknięcia w betonie, niemal nie nadgryzając baterii drona. System pozostaje stosunkowo odporny na rozmycie spowodowane ruchem i zmienne oświetlenie, a także zachowuje sensowność nawet wtedy, gdy obrazy z pęknięciami są rzadkie wśród wielu zdrowych fragmentów. Razem te wyniki przybliżają inspekcje dronowe do przyszłości, w której roje małych, tanich UAV mogą cicho patrolować naszą infrastrukturę, wykrywając zagrożenia wcześnie dzięki inteligentnej, wydajnej analizie na pokładzie.

Cytowanie: Zhang, Y., Nürnberg, A., Rau, L.S.M. et al. TinyML pipeline for efficient crack classification in UAV-based structural health inspections. Sci Rep 16, 8964 (2026). https://doi.org/10.1038/s41598-026-43534-4

Słowa kluczowe: inspekcja dronem, pęknięcia betonu, tiny machine learning, monitoring stanu konstrukcji, edge AI