VolE: Фреймворк на основе облаков точек для 3D-реконструкции пищи и оценки объёма

Почему важно измерять вашу еду

Подсчёт калорий по фотографии звучит как магия, но для врачей и диетологов это может стать мощным инструментом. Точное знание того, сколько пищи люди действительно съедают, жизненно важно при управлении такими состояниями, как диабет и ожирение, однако взвешивать каждый приём пищи на кухонных весах в повседневной жизни нереалистично. В этой статье представлен VolE — новый метод, который позволяет обычному современному смартфону построить детализированную трёхмерную модель одного продукта и оценить его объём с удивительно высокой точностью — без специального оборудования, контрольной карты или датчика глубины.

От простых фото к объёмным формам

Основная идея VolE — превратить короткое, случайное видео со смартфона вашего блюда в точную 3D-форму, поддающуюся измерению. Пока пользователь медленно перемещает телефон вокруг блюда, встроенные функции дополненной реальности устройства (ARCore на Android или ARKit на iOS) записывают и изображения, и точную позицию с ориентацией камеры в реальном пространстве. VolE объединяет эти потоки изображений и траектории камеры, чтобы восстановить плотное «облако точек» объекта — тысячи крошечных точек в пространстве, повторяющих поверхность продукта. Поскольку AR-система телефона уже знает реальные расстояния, виртуальный объект создаётся в правильном физическом масштабе, что решает долгую проблему в компьютерном зрении: можно восстановить форму в 3D, но не её истинный размер.

Нахождение еды и очистка сцены

Фотографии еды сложны: тарелки, столы и фоновые детали отвлекают внимание. VolE решает эту задачу автоматическим шагом сегментации видео, который действует как умные ножницы. Модель под названием FoodMem определяет, какие пиксели относятся к еде во всех кадрах видео, даже когда телефон движется и еда частично скрывается. Используя уточнённые позиции камеры, VolE проецирует 3D-точки в каждое сегментированное изображение и оставляет только те, которые последовательно попадают на еду в каждом виде. В результате получается чистое, изолированное облако точек, принадлежащее только целевому предмету, тогда как большинство фоновых точек и ошибки сегментации отфильтровываются.

От точек к измеримому объекту

Одного лишь облака точек недостаточно для измерений, поэтому VolE преобразует их в непрерывную цифровую поверхность, называемую мешем. Специализированное 3D-программное обеспечение сшивает соседние точки в маленькие треугольники, которые «обволакивают» еду как плотная кожура, заполняя небольшие пробелы и делая объект герметичным. Меш затем дорабатывается с помощью шагов сглаживания, удаления шумов и оптимизации, которые устраняют неровности и отверстия, не меняя при этом существенным образом истинного размера. Наконец применяется математический приём, известный как теорема дивергенции: поверхность разбивается на множество маленьких фрагментов, каждый из которых рассматривается как крошечная пирамида, опирающаяся на начало координат. Суммирование знаковых объёмов всех этих частей даёт общий объём еды в кубических сантиметрах, готовый для перевода в массу и калории с помощью стандартных таблиц плотности.

Тестирование на реальных продуктах и сложных бенчмарках

Чтобы оценить эффективность VolE, авторы создали новый набор данных «Foodkit» из 21 реального продукта — от яблок и бананов до роллов и выпечки — снятых по 700–1200 изображений каждого. Истинный объём измеряли методом вытеснения воды, массу — лабораторными весами, затем сравнивали эти значения с оценками VolE. По всем объектам средняя ошибка по объёму составила около 1–2%, что соответствует приблизительно 99% точности, и оставалась стабильной при повторных запусках, несмотря на внутреннюю случайность программ реконструкции. VolE также оценивали на сложных публичных датасетах, используемых в международных конкурсах, где он превзошёл или соперничал с лучшими существующими методами оценки объёма пищи, не требуя при этом калибровочных плат, датчиков глубины или фиксированных установок камер.

Что это значит для повседневного здоровья

Проще говоря, эта работа показывает, что телефон, который у вас уже есть, с правильными алгоритмами может измерять вашу еду почти так же хорошо, как лабораторное оборудование. Превращая случайные видео в точные 3D-модели, VolE снимает необходимость в весах, специализированных сканерах или тщательно подготовленных фотографиях с контрольными объектами. Хотя в настоящее время метод лучше работает для одного основного предмета на тарелке и выполняется на мощном компьютере, а не непосредственно на телефоне, он указывает на ближайшее будущее, где приложения для учёта питания смогут автоматически и надёжно оценивать размеры порций. Это может сделать долгосрочный мониторинг питания более объективным, менее обременительным и гораздо более доступным для людей, управляющих своим здоровьем в повседневной жизни.

Цитирование: Haroon, U., AlMughrabi, A., Zoumpekas, T. et al. VolE: A point-cloud framework for food 3D reconstruction and volume estimation. Sci Rep 16, 8648 (2026). https://doi.org/10.1038/s41598-026-38756-5

Ключевые слова: оценка объёма пищи, 3D-реконструкция, мобильное здоровье, дополненная реальность, оценка питания