VolE: Gıda için nokta bulutu çerçevesiyle 3B yeniden yapılandırma ve hacim tahmini

Akşam Yemeğinizi Ölçmenin Önemi

Bir fotoğraftan kalori saymak sihir gibi gelebilir, ancak doktorlar ve diyetisyenler için güçlü bir araç olabilir. İnsanların gerçekte ne kadar yiyecek tükettiklerini doğru bilmek diyabet ve obezite gibi durumların yönetimi için hayati öneme sahiptir; yine de günlük hayatta her öğünü mutfak terazisinde tartmak gerçekçi değildir. Bu makale VolE’yi sunuyor: sıradan modern bir akıllı telefonun tek bir gıda öğesinin ayrıntılı üç boyutlu modelini oluşturmasını ve hacmini şaşırtıcı derecede yüksek doğrulukla tahmin etmesini sağlayan yeni bir yöntem—özel donanım, referans kartı veya derinlik sensörü gerektirmiyor.

Basit Fotoğraflardan Katı Şekillere

VolE’nin temel fikri, yemeğinizin kısa ve doğal bir telefon videosunu hassas bir 3B şekle dönüştürmektir. Kullanıcı telefonu yavaşça bir tabak etrafında hareket ettirdikçe, cihazın yerleşik artırılmış gerçeklik özellikleri (Android’de ARCore veya iOS’ta ARKit) hem görüntüleri hem de kameranın gerçek uzaydaki konum ve yönünü kaydeder. VolE bu görüntü akışlarını ve kamera yollarını birleştirerek yiyeceğin yoğun bir “nokta bulutu”nu yeniden yapılandırır—maddenin yüzeyini izleyen binlerce küçük nokta. Telefonun AR sistemi zaten gerçek dünya mesafelerini bildiği için bu sanal nesne doğru fiziksel ölçekte oluşturulur; bu, 3B şeklin geri kazanılabildiği fakat gerçek boyutunun belirsiz kaldığı uzun süredir süregelen bir problemi çözer.

Yemeği Bulmak ve Sahneyi Temizlemek

Gıda fotoğrafları karmaşıktır: tabaklar, masalar ve arka plan karmaşası dikkati dağıtır. VolE bunu akıllı bir makas gibi davranan otomatik bir video segmentasyon adımıyla ele alır. FoodMem adlı bir model, telefon hareket ederken ve yiyecek kısmen gizlense bile videonun tüm karelerinde hangi piksellerin yiyeceğe ait olduğunu belirler. İyileştirilmiş kamera pozisyonları kullanılarak, VolE 3B noktaları her segmentlenmiş görüntüye projekte eder ve her görüntüde tutarlı şekilde yiyeceğe düşenleri saklar. Sonuç, hedef öğeye ait temiz ve izole bir nokta bulutudur; çoğu arka plan noktası ve segmentasyon hatası filtrelenmiş olur.

Noktalarından Ölçülebilir Bir Nesneye

Nokta bulutları tek başına ölçülmesi zordur, bu yüzden VolE bunları bir mesh (ağ) olarak adlandırılan sürekli dijital bir yüzeye dönüştürür. Uzman 3B yazılımlar komşu noktaları küçük üçgenlerle birleştirerek yiyeceğin etrafını saran sıkı bir cilt gibi sarar, küçük boşlukları doldurur ve nesneyi "su geçirmez" hale getirir. Mesh daha sonra gerçek boyutu anlamlı şekilde değiştirmeden tümsekleri ve delikleri gideren düzeltme, gürültü azaltma ve optimizasyon adımlarıyla rafine edilir. Son olarak, diverjans teoremi olarak bilinen matematiksel bir hile kullanılır: yüzey birçok küçük parçaya bölünür, her biri orijine bağlı küçük bir piramit gibi ele alınır. Tüm bu parçaların işaretli hacimleri toplandığında yiyeceğin toplam hacmi santimetreküp cinsinden elde edilir; bu da standart yoğunluk tabloları kullanılarak ağırlık ve kaloriye çevrilebilir.

Gerçek Gıdalar ve Zorlu Kriterlerde Test

VolE’nin ne kadar iyi çalıştığını görmek için yazarlar elma ve muzdan dürüm ve hamur işine kadar 21 gerçek gıdayı içeren yeni bir "Foodkit" veri seti oluşturdu; her biri 700–1200 görüntü ile yakalandı. Gerçek hacim su deplasmanı ile, kütle ise laboratuvar terazisiyle ölçüldü; sonra bu sayılar VolE’nin tahminleriyle karşılaştırıldı. Tüm öğeler genelinde ortalama hacim hatası yaklaşık %1–2 civarındaydı; bu da yaklaşık %99 doğruluğa karşılık geliyor ve yeniden yapılandırma yazılımındaki iç rastgeleliğe rağmen tekrarlı çalışmalarda stabil kaldı. VolE, uluslararası yarışmalarda kullanılan zor kamu veri setlerinde de değerlendirildi; kalibrasyon kartları, derinlik sensörleri veya sabit kamera düzenleri gerektirmeksizin gıda hacmi tahmininde mevcut en iyi yöntemlerle eşit ya da daha iyi performans gösterdi.

Günlük Sağlık İçin Anlamı

Basitçe söylemek gerekirse, bu çalışma doğru algoritmalarla zaten sahip olduğunuz bir telefonun yiyeceğinizi laboratuvar ekipmanına yakın bir doğrulukla ölçebileceğini gösteriyor. Gayri resmi videoları doğru 3B modellere dönüştürerek VolE, teraziler, özel tarayıcılar veya referans nesneli özenle düzenlenmiş fotoğraflara olan ihtiyacı ortadan kaldırıyor. Yöntem şu anda bir tabaktaki tek ana öğe için en iyi şekilde çalışıyor ve doğrudan telefonda değil güçlü bir bilgisayarda çalışıyor olsa da, porsiyon büyüklüklerini otomatik ve güvenilir biçimde tahmin edebilen beslenme takip uygulamalarına doğru yakın bir geleceğe işaret ediyor. Bu, uzun vadeli beslenme takibini daha nesnel, daha az zahmetli ve günlük yaşamlarında sağlıklarını yöneten kişiler için çok daha erişilebilir kılabilir.

Atıf: Haroon, U., AlMughrabi, A., Zoumpekas, T. et al. VolE: A point-cloud framework for food 3D reconstruction and volume estimation. Sci Rep 16, 8648 (2026). https://doi.org/10.1038/s41598-026-38756-5

Anahtar kelimeler: gıda hacmi tahmini, 3B yeniden yapılandırma, mobil sağlık, artırılmış gerçeklik, beslenme değerlendirmesi