VolE: Ett punktmolnsramverk för 3D-återuppbyggnad av mat och volymskattning

Varför det spelar roll att mäta din middag

Att räkna kalorier från ett foto låter som magi, men för läkare och dietister kan det bli ett kraftfullt verktyg. Att pålitligt veta hur mycket mat människor faktiskt äter är avgörande för att hantera tillstånd som diabetes och fetma, samtidigt som det är orealistiskt att väga varje måltid på en köksvåg i vardagen. Denna artikel presenterar VolE, en ny metod som låter en vanlig modern smartphone bygga en detaljerad tredimensionell modell av en enskild matvara och uppskatta dess volym med förvånansvärt hög noggrannhet — utan speciell hårdvara, referenskort eller djupsensor.

Från enkla foton till solida former

Kärn idén bakom VolE är att omvandla en kort, avslappnad telefonvideo av din måltid till en precis 3D-form som kan mätas. När användaren långsamt rör telefonen runt en tallrik registrerar enhetens inbyggda funktioner för förstärkt verklighet (ARCore på Android eller ARKit på iOS) både bilderna och kamerans exakta position och orientering i verkligt rum. VolE kombinerar dessa bildströmmar och kameravägar för att rekonstruera ett tät “punktmoln” av maten — tusentals små punkter i rymden som följer objektets yta. Eftersom telefonens AR-system redan känner till verkliga avstånd skapas detta virtuella objekt i korrekt fysisk skala, vilket löser ett långvarigt problem i bildanalys där 3D-form kan återvinnas men inte dess verkliga storlek.

Hitta maten och rensa scenen

Matbilder är röriga: tallrikar, bord och bakgrundsstörningar konkurrerar om uppmärksamheten. VolE hanterar detta med ett automatiskt videosegmenteringssteg som fungerar som en smart sax. En modell kallad FoodMem identifierar vilka pixlar som tillhör maten över alla videons ramar, även när telefonen rör sig och maten delvis blir dold. Med de förfinade kamerapositionerna projicerar VolE de 3D-punkterna i varje segmenterad bild och behåller bara de som konsekvent ligger på maten i varje vy. Resultatet blir ett rent, isolerat punktmoln som tillhör just målet, medan de flesta bakgrundspunkter och segmenteringsfel filtreras bort.

Från punkter till ett mätbart objekt

Punktmoln i sig är svåra att mäta, så VolE omvandlar dem till en kontinuerlig digital yta kallad en mesh. Specialiserad 3D-programvara fogar samman närliggande punkter till små trianglar som omsluter maten som en tajt hinna, fyller små luckor och gör objektet "vattentätt." Meshen förfinas sedan genom utjämning, brusreducering och optimeringssteg som tar bort bucklor och hål utan att ändra den verkliga storleken på något meningsfullt sätt. Slutligen används ett matematiskt trick känt som divergensteoremet: ytan bryts ner i många små delar, var och en behandlad som en liten pyramid förankrad i origo. Summan av de signerade volymerna för alla dessa delar ger matens totala volym i kubikcentimeter, redo att omvandlas till vikt och kalorier via standardiserade densitetstabeller.

Testning på verklig mat och svåra riktmärken

För att se hur väl VolE fungerar byggde författarna ett nytt "Foodkit"-dataset med 21 verkliga maträtter — från äpplen och bananer till wraps och bakverk — fångade med 700–1200 bilder vardera. De mätte verklig volym med vattendiskplacering och massa med en labbvåg, och jämförde sedan dessa siffror med VolE:s uppskattningar. Över alla objekt var den genomsnittliga volymfelet cirka 1–2 %, vilket motsvarar ungefär 99 % träffsäkerhet, och förblev stabilt över upprepade körningar trots intern slump i återuppbyggnadsprogramvaran. VolE utvärderades också på utmanande publika dataset som används i internationella tävlingar, där metoden överträffade eller matchade de bästa befintliga metoderna för matvolymskattning utan att behöva kalibreringskort, djupsensorer eller fasta kameraproppar.

Vad detta innebär för vardagshälsa

Kort sagt visar detta arbete att en telefon du redan äger kan, med rätt algoritmer, mäta din mat nästan lika bra som labbutrustning. Genom att omvandla avslappnade videoklipp till noggranna 3D-modeller tar VolE bort behovet av vågar, specialiserade skannrar eller noggrant uppställda foton med referensobjekt. Även om metoden i dagsläget fungerar bäst för ett enda huvudföremål på en tallrik och fortfarande körs på en kraftfull dator snarare än direkt på telefonen, pekar den mot en nära framtid där kostuppföljningsappar automatiskt och pålitligt kan uppskatta portionsstorlekar. Det kan göra långsiktig näringsövervakning mer objektiv, mindre betungande och mycket mer tillgänglig för personer som hanterar sin hälsa i vardagliga situationer.

Citering: Haroon, U., AlMughrabi, A., Zoumpekas, T. et al. VolE: A point-cloud framework for food 3D reconstruction and volume estimation. Sci Rep 16, 8648 (2026). https://doi.org/10.1038/s41598-026-38756-5

Nyckelord: uppskattning av matvolym, 3D-återuppbyggnad, mobil hälsa, förstärkt verklighet, kostbedömning