TinyML-pipeline för effektiv sprickklassificering vid UAV-baserade strukturella inspektioner

Smartare ögon i skyn

Broar, dammar och andra kritiska konstruktioner åldras precis som människor, och små sprickor kan vara tidiga varningssignaler för framtida fel. Ingenjörer skickar i allt större utsträckning små drönare för att fotografera dessa ytor, men idag måste många av bilderna skickas till fjärrservrar för analys, vilket tömmer batteriet och innebär risker för dataintegriteten. Denna artikel undersöker hur man kan krympa det sprickupptäckande ”hjärnan” till en liten chip på milliwatt-nivå som kan sitta på drönaren själv, vilket gör inspektioner snabbare, säkrare och betydligt mer energieffektiva.

Varför sprickor spelar roll

Traditionella metoder för att följa konstruktioners tillstånd bygger ofta på kontaktgivare som bultas eller limmas fast på betong och stål. Dessa system kan vara dyra att installera och tenderar att upptäcka problem först efter att skador utvecklats. Visuell inspektion ger en mer direkt bild, men att skicka mänskliga inspektörer ut på byggställningar eller in i körfält är långsamt, riskabelt och subjektivt. Små obemannade luftfarkoster (UAV) utrustade med kameror erbjuder ett bättre sätt: de kan snabbt svepa över brodäck och väggar och fånga tusentals detaljerade foton som avslöjar hårfina sprickor. Utmaningen är vad man ska göra med all den datan när drönaren har begränsad batteritid och ofta opålitliga nätverksanslutningar.

Problemet med att skicka allt till molnet

De flesta nuvarande system följer ett mönster av ”edge-acquisition–cloud-inference”. Drönaren fungerar helt enkelt som en flygande kamera och strömmar bilder till en kraftfull dator någon annanstans som kör en djupinlärningsmodell för att avgöra om varje bildruta innehåller en spricka. Detta är rimligt ur ett beräkningsperspektiv, men det har stora nackdelar. Strömning av högkvalitativa bilder tömmer drönarens batteri och minskar flygtiden dramatiskt. Om den trådlösa länken bryts eller försvagas kan inspektionsuppdraget stoppas i precis fel ögonblick. Att skicka detaljerade bilder av strategisk infrastruktur till fjärrservrar väcker också förståeliga integritets- och säkerhetsbekymmer. Dessa motsättningar motiverar en annan strategi: att placera intelligensen direkt på drönaren, på hårdvara knappt kraftfullare än en digital klocka.

Krymp hjärnan till ett litet chip

Författarna byggde en helhets-pipeline som körs på en lågströmsmikrokontroller, STM32H7, med ett kompakt neuralt nät kallat MobileNetV1x0.25. Istället för att uppfinna en ny modell fokuserade de på allt runtomkring: hur bilderna förbehandlas och hur modellen komprimeras. De använde en välstuderad datamängd med över 50 000 betongbilder, uppdelade i små patchar märkta ”spricka” eller ”ingen spricka”, och tränade och testade olika sätt att förbereda dessa patchar för den lilla modellen. En väg följde en handbyggd sekvens av steg som att konvertera till gråskala, höja kontrast, ta bort brus, jämna ut och slutligen omvandla bilder till skarpa svartvita silhuetter. En annan väg lät en ”girig” sökstrategi bygga en förbehandlingskedja steg för steg, alltid behållande den kombination som faktiskt förbättrade modellens prestanda.

Hitta kompromissen i pipelinen

Testerna visade att mer bearbetning inte alltid är bättre. Den manuella pipelinen, som slutade med kraftig binarisering, skadade faktiskt det neurala nätet genom att avlägsna subtila nyansskillnader modellen behövde för att se fina sprickor. Däremot fann den giriga sökningen att ett enklare par steg—gråskalakonvertering följt av medianfiltrering för att försiktigt jämna ut brus—gav bäst resultat. Utöver detta utforskade teamet systematiskt fyra sätt att pressa modellen: konvertering av dess värden från full precision till åttabitarsheltal (int8), träning med kvantiseringsmedvetenhet, beskärning av mindre viktiga vikter (pruning) och klustring av liknande viktvärden. De försökte dessa tekniker separat och i kombinationer, och distribuerade sedan de resulterande modellerna på mikrokontrollerkortet och mätte inte bara noggrannhet utan också minnesanvändning, bearbetningstid och energi per beslut.

Liten dator, stor prestanda

En konfiguration framstod som det bästa allroundvalet: en gråskala-plus-median-filter-ingång som matar en modell som kombinerar pruning med kvantiseringsmedveten träning i ett åttabitarsformat. Denna kompakta uppsättning uppnådde ett F1-värde—en balans mellan att fånga verkliga sprickor och undvika falsklarm—på 0,938, en ökning med mer än 11 procentenheter jämfört med tidigare omborddetektorer. Samtidigt krävde den bara cirka 2,9 megabyte arbetsminne, 309 kilobyte programlagring och mindre än en halv sekund för att bearbeta varje bildpatch. Varje beslut förbrukade ungefär 0,6 joule energi. När den monterades på en DJI Mini 4 Pro-drönare skulle denna sprickklassificerare vid kontinuerlig drift minska flygtiden med endast omkring 4 procent, jämfört med ungefär en fjärdedel av batteriet som töms av populära, mycket tyngre edge-datorplattor.

Vad detta betyder för verkliga inspektioner

För icke-specialister är kärnbudskapet att seriösa strukturella bedömningar inte längre kräver att känsliga bilder skickas till avlägsna datacenter eller att man bär med sig klumpiga, strömslukande datorer upp i luften. Genom att noggrant finjustera hur bilder rengörs och hur det neurala nätet komprimeras visar författarna att ett tumstort chip pålitligt kan upptäcka sprickor i betong samtidigt som det knappt biter på drönarens batteri. Systemet förblir hyfsat robust mot rörelseoskärpa och skiftande ljusförhållanden, och beter sig rimligt även när sprickbilder är sällsynta bland många friska patchar. Tillsammans för dessa resultat drönarbaserade inspektioner närmare en framtid där svärmar av små, billiga UAV:er tyst kan patrullera vår infrastruktur och i ett tidigt skede upptäcka problem med smart, effektiv ombordintelligens.

Citering: Zhang, Y., Nürnberg, A., Rau, L.S.M. et al. TinyML pipeline for efficient crack classification in UAV-based structural health inspections. Sci Rep 16, 8964 (2026). https://doi.org/10.1038/s41598-026-43534-4

Nyckelord: droninspektion, betongsprickor, tiny machine learning, övervakning av strukturell hälsa, edge-AI