Förbättrad multimodal interaktion i digitala kulturarvssystem: användarbeteendeanalys och gränssnittsrekonstruktion av Palatsmuseets skanningsbibliotek

Att föra den förbjudna staden till din skärm

Palatsmuseet i Peking, hem åt Förbjudna stadens skatter, har lagt ner stora ansträngningar på att digitalisera sina konstföremål och artefakter. Besökare var som helst i världen kan nu zooma in på utsökta detaljer som tidigare krävde förstoringsglas och ett särskilt besök. Ändå klickar många bort efter bara några minuter — imponerade av bilderna men osäkra på vad de verkligen lärt sig. Denna studie ställer en enkel fråga med stora konsekvenser: hur kan ett digitalt museum omdesignas så att vanliga besökare, inte bara experter, verkligen känner och förstår kulturen bakom bilderna?

Från skarpa bilder till ytlig förståelse

Forskarnas utgångspunkt är en spänning som ligger i kärnan av många digitala kulturarvsprojekt. Högprecisionsskanningar och 3D‑modeller fångar varje spricka i en glasyryta eller varje penseldrag i en rullmålning. Men de onlinesystem som visar upp dessa underverk behandlar ofta användarna som passiva åskådare. Interaktionen begränsas mest till att rotera, zooma och scrolla genom långa, tekniska beskrivningar. Följden blir att rika kulturella betydelser begravs under fackspråk och att de flesta besökare i slutändan ”ser saker utan att känna till deras berättelser.” Palatsmuseets digitala relicbibliotek är ett tydligt exempel: tekniskt imponerande, men narrativt fragmenterat och svårt att navigera för icke‑experter.

Att följa ögon för att förstå sinnen

För att ta reda på vad olika besökare faktiskt gör på dessa sidor genomförde teamet ögonspårningsexperiment med tre grupper: professionella forskare, historieentusiaster och vanliga turister. Deltagarna utförde uppgifter som sträckte sig från fri utforskning till målinriktade sökningar och komplexa operationer som att jämföra relaterade artefakter. Små kameror i särskilda glasögon registrerade var deras blick föll, hur länge de stannade och hur blicken hoppade över skärmen. Samtidigt loggade programvara musklick och scrollningar, och efter varje session bedömde volontärerna hur mentalt krävande uppgifterna kändes och deltog i fördjupade intervjuer om vad som förvirrade eller hjälpte dem.

Tre sätt att se samma objekt

Datamaterialet visade tre tydliga mönster av uppmärksamhet och beteende. Forskare tillbringade mest tid vid tekniska paneler som listade material, mått och dateringar, och rörde sig i en prydlig, linjär bana från huvudbild till data till relaterade objekt. De slutförde uppgifterna snabbt och rapporterade minst mental ansträngning. Entusiaster, däremot, växlade mellan huvudbilden och avsnitt som förklarar historisk bakgrund och symbolik och använde berättelser för att fördjupa sin förståelse. Turister fokuserade starkt på huvudbilden i 3D och på ögonfallande rekommendationer, och gick ofta vilse i gränssnittet. De misstolkade kategorietiketter, snubblade över termer som ”förgylld”, gjorde betydligt fler felklick och rapporterade att de kände sig överbelastade och osäkra på vad de skulle göra härnäst. Med andra ord tjänade samma sida experter väl, fångade entusiaster och stängde tyst ute nykomlingar.

Designa ett museum som lyssnar och svarar

Med stöd i teorier om empati och mediers "materialitet" argumenterar författarna för att digitalt kulturarv bör röra sig från statisk visning mot en mer sensorisk, berättelserik upplevelse. De föreslår en multimodal omdesign centrerad på sammansmältningen av syn och ljud. Visuellt skulle sidorna få tydliga, dynamiska guider som framhäver viktiga detaljer, visar hotspots på motiv som drakar eller lackstrukturer och omarrangerar sektioner baserat på typiska blickbanor. Auditivt skulle varje artefakt erbjuda lager av ljudförklaringar: expertkommentarer för forskare, berättande storytelling för entusiaster och lättillgängliga introduktioner för tillfälliga besökare. Ett röstbaserat fråge‑ och svars system skulle låta användare ställa naturliga frågor och få korta, skräddarsydda svar, medan subtila ljudsimulationer — som ringningen från en bronsklocka eller skrappandet av lackarbete — skulle åkalla föremålens fysiska närvaro.

Från klickande till att leva kulturen

För en allmän läsare är slutsatsen att ett bra digitalt museum inte bara är ett galleri med högupplösta bilder. Det bör kännas mer som att kliva in i ett guidad besök som anpassar sig efter vem du är och hur du utforskar. Genom att visa hur olika typer av användare faktiskt beter sig på Palatsmuseets webbplats bygger denna studie ett praktiskt argument för att omforma digitala kulturarvssystem kring mänsklig perception snarare än enbart teknik. Författarna har ännu inte implementerat sin fulla vision, men de skisserar en tydlig färdplan: använd verkliga beteendedata för att driva mer intuitiva visuella lösningar, rikare ljud och lager av berättande. Om detta förverkligas kan tillvägagångssättet förvandla snabba, ytliga genomsökningar till immersiva resor där människor inte bara beundrar forntida föremål utan också relaterar till de liv, färdigheter och värderingar de förkroppsligar.

Citering: Ke, L., Qin, H., Long, J. et al. Multimodal interaction enhancement of digital cultural heritage system: user behavior analysis and interface reconstruction of the heritage scanning library of the palace museum. Sci Rep 16, 10654 (2026). https://doi.org/10.1038/s41598-026-44955-x

Nyckelord: digitalt kulturarv, Palatsmuseum, design av museigränssnitt, multimodal interaktion, användarupplevelse