Улучшение мультимодального взаимодействия в системе цифрового культурного наследия: анализ поведения пользователей и реконструкция интерфейса библиотеки оцифровок дворцового музея

Приближая Запретный город к вашему экрану

Дворцовый музей в Пекине, хранящий сокровища Запретного города, вложил огромные усилия в оцифровку своих произведений искусства и артефактов. Посетители по всему миру теперь могут детально приближать изысканные подробности, для рассмотрения которых ранее требовались лупа и специальный визит. Тем не менее многие уходят спустя несколько минут: впечатление от изображений остаётся, но неясно, что именно они усвоили. В этом исследовании поставлен простой, но важный вопрос: как можно переработать цифровой музей, чтобы обычные посетители, а не только специалисты, действительно почувствовали и поняли культуру, стоящую за изображениями?

От чётких изображений к поверхностному пониманию

Авторы начинают с фиксации напряжения, присущего многим проектам цифрового наследия. Высокоточные сканы и 3D‑модели фиксируют каждую трещинку в керамической глазури и каждую кисть в свитке. Но онлайн‑системы, демонстрирующие эти чудеса, часто рассматривают пользователей как пассивных зрителей. Взаимодействие сводится к вращению, увеличению и пролистыванию длинных технических описаний. В результате богатые культурные смыслы зарываются под специализированной терминологией, и большинство посетителей «видят вещи, не зная их историй». Библиотека цифровых реликвий Дворцового музея — типичный пример: технически впечатляет, но с точки зрения повествования фрагментирована и сложна для навигации неспециалистам.

Наблюдая за глазами — чтобы понять мышление

Чтобы выяснить, что на самом деле делают разные посетители на этих страницах, команда провела эксперименты с отслеживанием взгляда на трёх группах: профессиональных учёных, любителей истории и обычных туристов. Участники выполняли задачи от свободного изучения до целевых поисков и сложных операций, таких как сравнение родственных артефактов. Крошечные камеры в специальных очках фиксировали, куда падает взгляд, как долго он задерживается и как прыгает по экрану. Одновременно программное обеспечение записывало клики мышью и прокрутку, а после каждой сессии добровольцы оценивали, насколько умственно требовательными показались задачи, и давали развернутые интервью о том, что их смущало или помогало.

Три способа смотреть на один и тот же объект

Данные выявили три отличительных модели внимания и поведения. Ученые проводили большую часть времени в технических панелях с перечнем материалов, размеров и дат, двигались по аккуратному линейному пути от главного изображения к данным и связанным объектам. Они быстро выполняли задачи и сообщали о наименьшей умственной нагрузке. Любители, напротив, постоянно переключались между главным изображением и разделами, объясняющими исторический контекст и символику, используя повествование для глубокого понимания. Туристы сосредотачивались преимущественно на главном 3D‑изображении и броских рекомендациях, часто теряясь в интерфейсе. Они неправильно читали метки категорий, натыкались на термины вроде «позолоченный», допускали гораздо больше ошибочных кликов и сообщали о перегруженности и неуверенности в дальнейших действиях. Иными словами, та же страница была удобна для экспертов, заинтересовывала энтузиастов и фактически отталкивала новичков.

Проектирование музея, который слушает и отвечает

Опираясь на теории эмпатии и «материальности» медиа, авторы утверждают, что цифровое наследие должно эволюционировать от статичной витрины к более сенсорному, насыщенному рассказами опыту. Они предлагают мультимодальную переработку, сосредоточенную на слиянии зрения и слуха. Визуально страницы должны получить ясные динамичные подсказки, выделяющие важные детали, показывающие «горячие точки» на мотивах вроде драконов или текстур лака и перестраивающие разделы в соответствии с типичными путями взгляда. Аудиально каждый артефакт мог бы предлагать многослойные объяснения: экспертные комментарии для учёных, повествовательные рассказы для энтузиастов и простые вводные тексты для случайных посетителей. Система голосовых вопросов‑ответов позволила бы пользователям задавать естественные вопросы и получать короткие адаптированные ответы, а тонкие звуковые имитации — например звон бронзового колокола или скрип лака — вызывали бы ощущение физического присутствия предметов.

От простого клика к проживанию культуры

Для широкого читателя основной вывод таков: хороший цифровой музей — это не просто галерея высокоразрешённых изображений. Он должен напоминать вход в экскурсию с гидом, которая подстраивается под то, кто вы и как вы исследуете. Показав, как разные типы пользователей действительно ведут себя на сайте Дворцового музея, это исследование даёт практическую аргументацию в пользу перестройки систем цифрового наследия вокруг человеческого восприятия, а не только технологий. Авторы ещё не реализовали всю свою концепцию, но очертили понятную дорожную карту: использовать реальные данные о поведении для формирования более интуитивных визуалов, насыщенного звука и многослойного повествования. В случае реализации такой подход может превратить быстротечный, поверхностный просмотр в погружение, где люди не только любуются древними предметами, но и устанавливают связь с жизнями, умениями и ценностями, которые они олицетворяют.

Цитирование: Ke, L., Qin, H., Long, J. et al. Multimodal interaction enhancement of digital cultural heritage system: user behavior analysis and interface reconstruction of the heritage scanning library of the palace museum. Sci Rep 16, 10654 (2026). https://doi.org/10.1038/s41598-026-44955-x

Ключевые слова: цифровое культурное наследие, Дворцовый музей, дизайн музейного интерфейса, мультимодальное взаимодействие, пользовательский опыт