Пространственно-временной графовый автоэнкодер для автоматизированной оценки действий человека в 3D в иммерсивном VR‑обучении археологов

Оттачивать деликатную работу, не выходя из лаборатории

Многие профессии требуют точных и безопасных движений тела, но практика в реальных условиях может быть рискованной, дорогой или трудно повторяемой. В этом исследовании показано, как виртуальная реальность и технологии отслеживания движений в сочетании с искусственным интеллектом могут обучать археологов копать, соскребать и поднимать предметы внутри цифровой раскопки. Аналогичные подходы в будущем могут помочь тренировать хирургов, рабочих фабрик или спортсменов, превратив эталонные движения экспертов в стандарт, которому любой сможет научиться соответствовать.

Погружение в виртуальную раскопку

Исследователи создали иммерсивную тренировочную систему, которая помещает археолога в виртуальную зону раскопок с помощью гарнитуры Meta Quest 3. Одновременно костюм захвата движения Xsens MVN Awinda с 17 небольшими датчиками отслеживает, как каждая часть тела движется в трёх измерениях. Вместо простого воспроизведения система преобразует каждую запись в структурированное описание тела: голова, торс, руки и ноги становятся точками цифрового скелета, каждая оснащена подробными измерениями — скоростью, ускорением и углами суставов во времени. Этот богатый поток данных становится исходным материалом для автоматического наставника.

Обучение компьютера тому, как выглядит «правильное движение»

Чтобы превратить экспертные навыки в стандарт обучения, команда сначала попросила профессиональных археологов выполнить типичные действия кельмой, киркой и лопатой. Эти примеры экспертов служат «идеальными» движениями. Специализированная модель искусственного интеллекта, называемая AEforGraph, затем учится сжимать каждую последовательность движений в компактный внутренний код, который сохраняет сведения о том, как суставы тела движутся совместно в пространстве и времени. Модель уделяет больше внимания наиболее важным суставам — например, кисти и предплечью при тонкой работе кельмой — так что безопасность и точность в ключевых областях важнее фоновых движений в других местах.

Как система обнаруживает ошибки

Когда модель выучила эти внутренние коды движений, она группирует похожие движения в кластеры, каждый из которых центрирован на эталонном паттерне, отражающем одно идеальное действие, например правильный замах лопатой. Когда обучающийся выполняет новое движение, система кодирует его, находит ближайший эталон и затем реконструирует то, что сделал ученик. Сравнивая реконструкцию ученика с идеалом по каждому суставу и в каждый момент времени, система оценивает, насколько далеко каждая часть тела отклонилась от экспертной формы. Эти различия можно преобразовать в понятную обратную связь, например указать, какой сегмент руки двигался слишком быстро или под неправильным углом.

Тестирование виртуального наставника

Команда записала 509 реальных движений от восьми археологов для обучения и оценки системы. Их автоэнкодер AEforGraph воспроизводил данные о движениях с высокой точностью, сохраняя более девяноста процентов исходной вариативности при существенном упрощении представления. По сравнению с известной базовой моделью он лучше улавливал, как движения разворачиваются во времени. При сортировке движений на три группы, связанные с инструментами — кельма, кирка и лопата — полусупервизированный метод кластеризации правильно отнес более 97 процентов образцов. В живых VR‑тестах со всеми подключёнными устройствами система обычно возвращала обратную связь примерно через секунду после каждого записанного действия и почти всегда выбирала правильный кластер для выполненного движения.

Почему это важно не только для археологии

С точки зрения неспециалиста главное достижение — рабочий план цифрового коуча по движениям: виртуальная реальность даёт безопасную и реалистичную среду; датчики захвата движения фиксируют подробное поведение тела; интеллектуальная модель сравнивает каждую попытку с примерами экспертов и в реальном времени выдаёт целевую обратную связь. Хотя в исследовании рассмотрены археологи, сама концепция универсальна. При наличии подходящих примеров и данных движения тот же подход может помочь совершенствовать задачи в медицине, реабилитации, производстве или спорте, направляя людей к более безопасным и эффективным движениям без необходимости присутствия инструктора при каждом повторении.

Цитирование: Pradisi, V., Marini, M.R., Castelli Gattinara Di Zubiena, F. et al. Spatio-temporal graph autoencoder for automated evaluation of human actions in 3D in immersive VR-based training for archaeologists. Sci Rep 16, 10568 (2026). https://doi.org/10.1038/s41598-026-46138-0

Ключевые слова: обучение в виртуальной реальности, захват движения, археология, анализ движений человека, графовые нейронные сети