BODIES: parametr kształtu ciała i siatki 3D osób oparte na SUPR

Dlaczego cyfrowe duble postaci mają znaczenie

Od przymierzania ubrań online po szkolenie chirurgów w rzeczywistości wirtualnej — wiele technologii opiera się dziś na realistycznych cyfrowych wersjach naszych ciał. Budowa takich szczegółowych awatarów 3D wciąż bywa powolna i trudna, zwłaszcza gdy kluczowe są precyzyjne proporcje i wymiary ciała. W tym badaniu przedstawiono duży nowy zestaw danych mający ułatwić komputerom rekonstrukcję dokładnych ciał ludzkich z prostych zdjęć, co może poprawić działanie od wirtualnych przymierzalni po symulatory medyczne.

Nowy sposób opisu ciała ludzkiego

Większość obecnych systemów modelowania postaci 3D opiera się na popularnym standardzie SMPL, który traktuje ciało jako jedną odkształcalną powierzchnię kontrolowaną przez ograniczony zestaw liczb. Choć przydatny, SMPL ma trudności z drobnymi detalami takimi jak twarze, dłonie czy stopy, a został wytrenowany na danych, które nie obejmują w pełni ogromnej różnorodności prawdziwych sylwetek. Nowszy model, zwany SUPR, reprezentuje ciało w częściach i był trenowany na ponad milionie skanów, w tym obejmujących skrajne typy ciała oraz szczegółowe zapisy głowy, dłoni i stóp. W teorii SUPR powinien wierniej odzwierciedlać kształt i ruchy ludzi, jednak był rzadko wykorzystywany, ponieważ brakowało dużych, gotowych do użycia zbiorów danych zbudowanych na jego podstawie.

Tworzenie zestawu danych BODIES

Aby wypełnić tę lukę, autorzy stworzyli BODIES — syntetyczną kolekcję 84 000 cyfrowych sylwetek zdefiniowanych przy użyciu modelu SUPR. Każda sylwetka opisana jest w prostej, neutralnej pozycji stojącej przez zestaw wartości numerycznych kontrolujących kształt ciała, a także przez siatkę powierzchni 3D oraz dwa obrazy pokazujące widok z przodu i z boku. Naukowcy wygenerowali oddzielne populacje męskie i żeńskie, stopniowo zwiększając liczbę używanych parametrów kształtu — od zwartego opisu z 10 liczb do szczegółowego z 300. Wartości te dobierano z rozkładu dzwonowego podobnego do tego, w którym rozkładają się wzrost i waga w realnych populacjach, a skrajne wartości przycinano, by uniknąć niemożliwych sylwetek. Dla każdej postaci zapisano siatkę, wartości kształtu, obliczony wzrost i wagę oraz standaryzowane obrazy, a wszystko zorganizowano tak, by inne zespoły mogły podłączyć dane bezpośrednio do swoich potoków uczenia maszynowego.

Testowanie, jak dobrze odwzorowano ciała

Zespół następnie sprawdził, czy użycie SUPR i zestawu BODIES rzeczywiście poprawia rekonstrukcję ciał 3D ze zdjęć. Wystartowali od istniejącego systemu składającego się z trzech modułów: modułu wycinającego kontur osoby z obrazów z przodu i z boku, modułu kompresującego te kontury do zwartego opisu wizualnego oraz modułu końcowego przekształcającego te cechy wraz ze wzrostem i wagą w liczby opisujące kształt ciała i siatkę 3D. Autorzy ulepszyli etapy przetwarzania obrazów i zaadaptowali system do pracy z SUPR zamiast SMPL. W pierwszym zestawie testów porównali trenowanie systemu na starszym zbiorze opartym na SMPL z trenowaniem na BODIES, mierząc następnie, jak daleko od oryginałów są rekonstruowane siatki. Użycie BODIES i SUPR generalnie zmniejszało błędy, zwłaszcza dla ciał żeńskich, co sugeruje, że bogatszy model i szersze pokrycie kształtów pomagają systemowi nauczyć się dokładniejszych sylwetek.

Ile szczegółów kształtu jest pomocnych

Następnie autorzy zbadali, jak liczba parametrów kształtu wpływa na wydajność. Intuicyjnie więcej liczb powinno pozwolić systemowi uchwycić drobniejsze szczegóły, ale też utrudniać zadanie predykcji. Trenując i testując na wersjach BODIES używających od 10 do 300 parametrów kształtu, badacze odkryli, że błędy rekonstrukcji mają tendencję do wzrostu w miarę zwiększania szczegółowości docelowego opisu. Mając do dyspozycji tylko dwie sylwetki i kilka pomiarów, system ma problem z ustaleniem wielu drobnych korekt, które umożliwiają setki ustawień kształtu. Jednak analizując, jak modele wytrenowane na różnych poziomach szczegółowości uogólniają się na całe wersje zestawu, te trenowane z pośrednią lub wyższą liczbą parametrów często osiągały lepszy kompromis, ucząc się reprezentować subtelne cechy bez nadmiernego dopasowania do jednego wąskiego przypadku.

Od wirtualnych postaci do rzeczywistych skanów

Na koniec zespół sprawdził, jak trening na danych syntetycznych przekłada się na rzeczywistych ludzi. Wykorzystali starannie oczyszczone skany 3D 34 osób, wygenerowali z nich obrazy z przodu i z boku i poprosili modele wytrenowane albo na starszym zbiorze SMPL, albo na BODIES o rekonstrukcję tych ciał. Dokładność oceniano porównując wzrost, wagę i kluczowe obwody, a także prosząc ochotników o ocenę podobieństwa wizualnego. Ogólnie błędy były większe niż w testach czysto syntetycznych, co odzwierciedla skok od generowanych komputerowo kształtów do nieuporządkowanej rzeczywistości. Mimo to modele trenowane na BODIES często dorównywały lub przewyższały te trenowane na SMPL, szczególnie dla kobiet, potwierdzając, że zestaw oparty na SUPR lepiej radzi sobie ze złożonymi formami ciała także w warunkach rzeczywistych.

Co to oznacza dla przyszłych awatarów

Dla osoby niebędącej specjalistą główny wniosek jest taki, że praca ta dostarcza zarówno nowej, bogatej biblioteki cyfrowych ciał, jak i dowodów, że bardziej szczegółowy model ciała może poprawić dokładność rekonstrukcji ludzkiego kształtu przez maszyny. BODIES oferuje dziesiątki tysięcy standaryzowanych przykładów, których deweloperzy mogą użyć do trenowania systemów stojących za wirtualnymi przymierzalniami, realistycznymi postaciami w grach i filmach oraz narzędziami medycznymi dostosowanymi do konkretnego pacjenta. Chociaż badanie pokazuje też ograniczenia wywnioskowania drobnych detali ciała mając tylko dwa widoki, wskazuje drogę do wierniejszych cyfrowych zastępców, które lepiej odpowiadają rozmiarom i proporcjom prawdziwych ludzi.

Cytowanie: Cannavò, A., Manigrasso, F., Moro, F. et al. BODIES: BOdy shape parameter and 3D meshes of Individuals basEd on SUPR. Sci Data 13, 736 (2026). https://doi.org/10.1038/s41597-026-06777-4

Słowa kluczowe: rekonstrukcja 3D ludzkiego ciała, cyfrowe awatary, syntetyczny zbiór danych ciał, wirtualne przymierzanie, modelowanie kształtu ciała