Конвейер TinyML для эффективной классификации трещин при обследованиях конструкций с БПЛА

Более умные «глаза» в небе

Мосты, плотины и другие критические сооружения стареют так же, как и люди, и крошечные трещины могут быть ранними признаками будущих отказов. Инженеры всё чаще посылают маленькие дроны фотографировать эти поверхности, но сегодня многие из этих изображений нужно отправлять на удалённые серверы для анализа, что расходует заряд батареи и создаёт риски для конфиденциальности данных. В этой статье рассматривается, как уменьшить «мозги» для обнаружения трещин до крошечного чипа с потреблением в милливаттах, который может устанавливаться прямо на дроне, делая обследования быстрее, безопаснее и гораздо эффективнее.

Почему трещины важны

Традиционные методы отслеживания состояния сооружений часто опираются на контактные датчики, прикрученные или приклеенные к бетону и стали. Эти системы могут быть дорогими в установке и, как правило, выявляют проблемы только после того, как повреждения уже развились. Визуальный осмотр даёт более прямое представление, но отправлять людей на леса или в полосы движения медленно, опасно и субъективно. Малые беспилотные летательные аппараты (БПЛА) с камерами предлагают лучший путь: они быстро облетят пролёты мостов и стены, сделают тысячи детализированных фотографий, на которых видны тонкие трещины. Проблема в том, что делать со всеми этими данными, когда у дрона ограниченный ресурс батареи и часто ненадёжное сетевое соединение.

Проблема отправки всего в облако

Большинство современных систем следуют шаблону «съёмка на краю — вывод в облаке». Дрон фактически выступает летающей камерой, стримя изображения на мощный компьютер в другом месте, где запускается глубокая нейросеть для решения, содержит ли каждый фрагмент бетона трещину. С вычислительной точки зрения это имеет смысл, но у подхода есть серьёзные недостатки. Потоковое вещание изображений высокого качества быстро разряжает батарею дрона, существенно сокращая время полёта. Если беспроводной канал обрывается или ослабевает, миссия может остановиться в самый неподходящий момент. И пересылка детализированных изображений стратегической инфраструктуры на удалённые серверы вызывает понятные вопросы приватности и безопасности. Эти противоречия мотивируют иной подход: разместить интеллект прямо на дроне, на оборудовании, едва более мощном, чем цифровые часы.

Уменьшение «мозга» до малого чипа

Авторы создали сквозной конвейер, работающий на энергоэффективном микроконтроллере STM32H7, используя компактную нейросеть MobileNetV1x0.25. Вместо разработки новой модели они сосредоточились на всём вокруг неё: как предварительно обрабатываются изображения и как модель сжимается. Они использовали хорошо изученную выборку более 50 000 изображений бетона, разрезанных на маленькие патчи, помеченные как «трещина» или «без трещины», затем обучали и тестировали разные способы подготовки этих патчей для крошечной модели. Один путь следовал вручную подобранной последовательности шагов: перевод в оттенки серого, повышение контраста, удаление шума, сглаживание и в завершение жесткая бинаризация в чёрно‑белый силуэт. Другой путь позволял «жадной» стратегии пошагово строить цепочку предобработки, всегда сохраняя комбинацию, которая действительно улучшала работу модели.

Нахождение оптимума в конвейере

Тесты показали, что больше обработки не всегда лучше. Ручной конвейер, завершавшийся резкой бинаризацией, на самом деле вредил нейросети, удаляя тонкие градации, которые нужны модели для обнаружения мелких трещин. Напротив, жадный поиск нашёл, что более простая пара шагов — перевод в оттенки серого, за которым следует медианный фильтр для мягкого сглаживания шума — дала наилучшие результаты. Кроме того, команда систематически исследовала четыре способа сжатия модели: перевод значений в восьмибитные целые, обучение с учётом предполагаемой квантизации (quantization-aware training), обрезку менее важных весов (pruning) и кластеризацию похожих значений весов. Эти техники применялись по отдельности и в комбинациях, после чего полученные модели развёртывали на плате микроконтроллера и измеряли не только точность, но и потребление памяти, время обработки и энергию на одно решение.

Малый компьютер, большая производительность

Одна конфигурация оказалась лучшим универсальным выбором: вход, состоящий из перевода в оттенки серого и медианного фильтра, питающий модель, сочетающую обрезку и обучение с учётом квантизации в восьмибитном формате. Эта компактная схема достигла F1‑меры — баланса между обнаружением реальных трещин и избеганием ложных срабатываний — равной 0.938, что на более чем 11 процентных пунктов выше по сравнению с ранними детекторами трещин, работающими на устройстве. При этом она требовала лишь около 2.9 мегабайта оперативной памяти, 309 килобайт памяти для программы и меньше полусекунды на обработку каждого патча изображения. Каждое решение потребляло примерно 0.6 джоулей энергии. При установке на дрон DJI Mini 4 Pro непрерывная работа этого классификатора трещин уменьшила бы время полёта всего примерно на 4 процента, по сравнению с примерно четвёртью батареи, которая расходуется популярными, значительно более тяжёлыми платами для edge‑вычислений.

Что это означает для практических обследований

Для неспециалистов ключевая мысль в том, что серьёзная оценка состояния конструкций больше не требует отправки чувствительных изображений в отдалённые центры обработки данных или переноски громоздких, энергоёмких компьютеров в небо. Тщательно настроив, как изображения очищаются, и как нейросеть сжимается, авторы показывают, что чип размером с палец способен надёжно выявлять трещины в бетоне, едва касаясь батареи дрона. Система остаётся достаточно устойчива к смазыванию при движении и к меняющемуся освещению, и ведёт себя разумно даже когда изображения с трещинами встречаются редко среди множества здоровых патчей. В совокупности эти результаты приближают инспекции с дронов к будущему, где рои небольших, недорогих БПЛА смогут тихо патрулировать нашу инфраструктуру, своевременно замечая проблемы с умным, эффективным бортовым интеллектом.

Цитирование: Zhang, Y., Nürnberg, A., Rau, L.S.M. et al. TinyML pipeline for efficient crack classification in UAV-based structural health inspections. Sci Rep 16, 8964 (2026). https://doi.org/10.1038/s41598-026-43534-4

Ключевые слова: инспекция дронов, трещины в бетоне, tiny machine learning, мониторинг состояния конструкций, edge AI