基于具身认知的博物馆虚拟展陈交互设计研究_王妍.pdf

学研探索交互2023年2月 第36卷 第4期设计DESIGN138摘要：从具身认知的视角探索博物馆展品虚拟展陈的交互方法。分析博物馆展品虚拟展陈交互设计的发展现状与问题,运用具身认知理论原理,梳理博物馆展品虚拟展陈的设计思路,并进行风云系列卫星虚拟展陈的交互设计实践。得出自然式、隐喻式、情境式的博物馆展品虚拟展陈交互设计思路和要点。基于具身认知的博物馆展品虚拟展陈交互设计思路,能够改善观者的交互体验,增强观者对于展品的理解,丰富博物馆展品虚拟展陈的交互方式。关键词：虚拟展陈 具身认知 手势交互 博物馆 交互设计中图分类号：TB47 文献标识码：A 文章编号：1003-0069（2023）04-0138-04Abstract：The work aims to explore the interaction design methods of museum virtual exhibition based on embodied cognition to improve the interactive experience of visitors,enhance their understanding of exhibits and enrich the interactive methods of museum virtual exhibition.Through analysis on the development status of virtual exhibition of museum exhibits,the existing problems of virtual museum interactive design were refined.Through the research on embodied cognition and interactive design of virtual museum,the design ideas of museum virtual exhibition were orgnized and the interactive design practice of Fengyun satellite virtual exhibition was carried out.The interactive design ideas and key points of natural,metaphorical and situational virtual exhibition of museum exhibits are obtained.Interaction design based on embodied cognition is more natural for virtual exhibition of museum exhibits,which can improve peoples experience when viewing the virtual exhibition of museum exhibits,and enhance peoples understanding and understanding of museum exhibits in the case of non-physical contact.Keywords：Virtual exhibition Embodied cognition Gesture interaction Museum Interaction design哈尔滨工业大学建筑学院 王 妍 朱俐徽 巩新龙基于具身认知的博物馆虚拟展陈交互设计研究RESEARCH ON INTERACTIVE DESIGN OF VIRTUAL EXHIBITION OF MUSEUM BASED ON EMBODIED COGNITION引言博物馆担负着传承人类文明和传播人类文化的重要职责,并且作为我国文化事业的重要组成部分而备受重视。新兴的博物馆热也要求博物馆进行质的改变,其中极为重要的一点是“让博物馆里的文物活起来”。目前,许多博物馆与百度、腾讯等互联网企业开展各种形式的合作,博物馆展陈与互联网的结合也日趋紧密1,“互联网+博物馆”的形式也促进了博物馆虚拟展陈技术的发展。虚拟的数字化展陈方式具有不受时空与数量限制、富于趣味性与体验感、兼顾展品的保护和利用的优势2,因此,本文针对博物馆虚拟展陈交互设计进行研究,利用具身认知理论,总结设计思路,开展设计实践,以期对博物馆展陈交互设计提出新思考。一、博物馆展品虚拟展陈交互设计现状分析根据虚拟博物馆跨国网络的定义来看,虚拟博物馆是一种基于博物馆本身的特性,通过提高内容的丰富性、互动性和个性化来补充或增强博物馆体验3的数字化实体。可访问、收藏、交流、保存、文化、教育、数字创作、遗产、解释、互动、研究这十一个关键词描述了虚拟博物馆的本质。博物馆展品虚拟展陈为其中的一个部分,其是指将博物馆展品、场景等展示对象进行数字化呈现,在计算机生成的虚拟环境中搭建重组,使得观者能够借助多种技术实现与其多样化的交互。和实体的博物馆展品展陈方式相比,虚拟展陈的形式有着更多的灵活性、交互性。我国许多博物馆也构建了自身的虚拟展馆。比如全景故宫、数字敦煌、中国国家博物馆等。当前,博物馆展品的虚拟展陈主要有两种,一是基于移动端的虚拟展陈应用,二是基于PC端的虚拟展陈网页网站。通过研究数个著名博物馆的数字展馆,发现网页上的博物馆展品虚拟展陈大多以博物馆官方网站为平台,呈现博物馆展览信息和展品信息,附有博物馆的全景展示。大多数博物馆在网页上的展品虚拟展陈与博物馆的全景展示是相互结合的,观者在全景图探访博物馆的过程中可以看到,相应展品的介绍。而在移动端的博物馆展示则主要是与实体游览相结合,更注重标注其位置信息而并非其具体环境。本文选取了现在博物馆展品虚拟展陈交互设计的代表性案例进行分析,见表1。综合以上案例可见,目前博物馆展品虚拟展陈往往是通过键鼠和显示器进行输入输出,交互方式通常是点击,然后显示详情,内容多以文字、图片的形式呈现,有一部分附有音频讲解,缺少与观者的多通道多样化趣味性互动。有的将展品放置于场景中呈现,有的单纯展示展品,即使是放置于场景中的,往往也只是浮于形式,难以在观者头脑中构筑场景和展品结合的印象。将展品展陈于游客面前,不仅是要把展品真实还原,还允许游客能够“动手”把玩,满足观览者一探究竟的愿望,以及自然地与之互动的体验4;同时应该把展品背后的故事呈现出来,让游客身临其境,调动游客的全部感官,如同置身于展品所在的时代,使观看展品的过程真正有血有肉,这样才能提高用户体验,并使其真正看懂展品。二、基于具身认知的博物馆虚拟展陈交互设计思路（一）具身认知理论传统认知理论把认知过程看作是计算的过程,符号输入产生符号编码输出,按照这种观点,知觉和运动系统与中心认知过程无关,只是外围输入输出设备,从而将认知过程中的身与心分开了5。具身认知不认同这种离身的认知理论,认为身体在认识中具有重要作用,心灵必须在和与世界直接互动的肉体的关系中理解,人类的认知并非集中而抽象的,而是植根于感觉运动加工的。具身认知把认知过程看作是一个涉及主体精神、身体、环境及其关系的系统运作过程,强调其系统性、各元素的交互性和交互的直接性即具身性,这个感觉的身体植根于更广泛和深刻的生物、心理和文化背景中,是作为嵌入于世界之中的身体而进行认识的,因此认知又是嵌入的。具身认知的另外一个核心观点是,在实际行动和体验中涉及的自身行动、情绪或感觉的表征的约束,也适用于观察他人执行给定行动或体验给定情绪或感觉的相应表征,这些约束非常相似,因为它们有一个共同的身体格式6。也就是说,在认知的过程中,人们会将所观察到的行动、情感等转化为从自身出发进行的行动或情感,从而进行对他人的模拟。具DOI:10.20055/ki.1003-0069.000478学研探索交互设计DESIGN139身认知的过程如图1所示。综上,可以从具身认知的理论出发,概括认知的特征为具身的、拟仿的、嵌入的。具身认知的这三个特征,启发了博物馆展品虚拟展陈交互设计的思路。（二）基于具身认知的博物馆虚拟展陈交互设计思路1.认知是具身的自然式交互方式认知是具身的,这也就意味着在虚拟展陈交互设计时要更为适应人类身体的物理特征与结构,与人预期情境下已有的思维模型相符合,贴近人类自然的交互方式。当下人们可以依托各种可穿戴设备、手持设备、桌面设备、虚拟现实等技术,将具身认知理论应用于人机交互中,进行具身交互7。现在文化遗产的保护和传播中不断使用到的沉浸式技术就是注重了身体的作用,通过各种真实和数字内容的组合提供感官体验8,使得人们可以使用自然直觉的方式交互,获得良好的体验。对于博物馆展品虚拟展陈来说,就可以利用现在不断发展的体感交互技术,使得观者与展品的交互更为自然直接。比表1 博物馆展品虚拟展陈交互设计的案例分析如说不同于现在的键鼠输入,而是使用手势交互,让观者在查看展品时,物理空间的手势活动与虚拟空间的操作一致,使得观者可以像观察真实世界中的物体一样观察虚拟展陈中的展品并与之交互。在设计上要使得用户与展品之间有直接的互动,包括视、听、触、动等多维度多通道的互动。在视觉表现上要鲜明,突出要展示的部分;在听觉表现上,根据具体情况添加背景音乐、声音讲解和相应音效等,以达到提示引导和氛围营造的目的,从听觉通道给予观者刺激;在触觉表现上,可以使用户能够全方位观察展品的结构并“拿起”展品进行把玩,在设备条件允许的情况下,也可以通过手柄等设备,在用户把玩的同时给予触觉上的刺激。最为重要的是,对于交互手势的设计既要基于人类的自然习惯,同时也要考虑到人机交互的经验和习惯,如果贸然进行“创新”,反而会增加观者的学习成本,造成不便。所以在手势等的设计上,要对于当前交互要完成的任务进行分析,基于人的行为来定义,使得动作简单易用,便于记忆,实用且能给观者带来愉悦的体验。2.认知是拟仿的隐喻式指导操作认知是拟仿的,我们在感知到一个物体以后,在内心会进行明确的行为模拟,用于调节运动、社交和认知过程9。人们认识事物,会在心中模拟与其的互动,并且这个模拟会受到事物本身、环境、以及自身经验的影响。基于此,在博物馆虚拟展陈的交互设计中,要利用隐喻式的设计。隐喻设计是使用象征等手法,利用一个物体使用户理解另一个物体,从而使得新的复杂的概念简明地呈现出来的设计方法。在博物馆虚拟展陈交互设计中,需要通过营造环境、搭建线索的方式,使得周围环境以及展品本身作为提示,引导观者如何操作,达到观者同展品共融共创的效果10。在搭建整个展厅时要考虑到通过环境的使得用户进入状态,使用灯光、指示标志等为用户提供行动的线索。在虚拟的环境中,灯光的使用更加灵活自由,可以通过改变灯光的亮度强调可交互的物体,调整灯光的颜色从而调节氛围。而指示标志除了实体博物馆中使用的固定标志外,在虚拟展馆中可以是流动的,随着用户的位置变化而变化的。除了游览的位置的引导外,还需要通过隐喻式的设计指导用户与展品的具体交互,比如放置明确的操作说明,想要观者做捏合的动作,就放置一个起说明作用的手做捏合的动作,使观者模仿这个动作。或者有一个展品需要观者将其“拿”起来,那么就要使其视觉上突显,强调其弧度,拟仿出“持握”的感觉,从而自然地推动观者与虚拟展品的交互。由于固有经验的影响,某些功能性的展品本身就会引起观者模仿的行为,比如人们看到图1 具身认知的过程应用名称交互媒介交互方式内容呈现方式展品环境国家博物馆移动设备手势点击进行选择、手势滑动翻页展品图片、文字介绍、语音讲解App中的藏品板块中收录各种展品信息，点击进入后又可分为“考古发掘品”“革命文物”“国史文物”“传世品”“货币”“民族民俗文物”“古籍文献碑帖”“外国文物”“艺术品”这几类，根据相应的分类可以找到展品。在展品详情页中，又可查看其在馆中的具体位置。位置通过在展馆平面图上标记显示。全景故宫PC电脑鼠标点击、鼠标滚轮滑动、鼠标点击后拖动全