基于通感理论的美岱召声景交互体验设计.pdf

第 44 卷 S1 期 包 装 工 程 2023 年 4 月 PACKAGING ENGINEERING 15 收稿日期：20230131 基金项目：内蒙古高等学校科学技术研究项目（NJSY21408）；内蒙古自治区研究生科研创新项目（S20210163Z）作者简介：张博（1985），硕士，内蒙古科技大学讲师，主要研究方向为文化旅游产业与服务设计。通信作者：陈小娟（1999），内蒙古科技大学硕士生，主攻文化旅游与服务设计。基于通感理论的美岱召声景交互体验设计 张博，陈小娟，韩冬楠（内蒙古科技大学，包头 014010）摘要：目的目的 在了解美岱召文化的基础上，将通感理论与体验设计相融合，使用情感材料建立建筑与音乐之间的转换关系，充分利用人们记忆、经验、感知，产生新体验，以此指导美岱召建筑（景观）与音乐（声音）交互体验设计研究。方法方法 将通感理论的转译设计方法和体验设计的思维方式相融合，针对美岱召建筑的特色研究，利用用户情感感知和周边环境引导，进行系统的体验设计服务。结论结论 人对音乐与建筑的交互是双向运行的，利用人的情感主动引导交互体验的变化与升级，可以提供愈加丰富的定制化通感、情感体验，拓展通感体验的感知维度和情感体验深度，产生情感共鸣，推进美岱召建筑文化的传承与发展。关键词：通感理论；美岱召；声景交互；体验设计 中图分类号：TB472 文献标识码：A 文章编号：1001-3563(2023)S1-0015-09 DOI：10.19554/ki.1001-3563.2023.S1.003 在体验经济的影响下，情感化产品更加受到人们的青睐，体验设计与通感理论结合的设计增强设计的感知功能，触发用户多维度体验，为用户创造一个集回忆、产品、体验为一体的设计。美岱召文化资源丰富，但开发程度低下，大多围绕壁画资源进行展开研究，从设计角度对美岱召建筑开发研究寥寥无几。美岱召声景交互体验设计能够有效将通感、体验、文化三者融合既开发跨界设计方式，又可带给用户一种新的感知体验。1 背景及相关概念阐述 美岱召坐落于包头市土右旗，始建于明朝，历史悠久，文化资源丰富，其建筑风格和壁画艺术尤为精美，是内蒙古一座城寺结合、人佛共居的藏传佛教建筑1。美岱召建筑文化是美岱召文化的分支，其建筑规模宏伟，形制融合蒙、汉、藏元素，风格独特，保存完好，板升是具有代表意义的早期建筑之一。板升原是汉人聚居的土木制屋舍，后扩展为在此地修筑的房舍、村落。它是蒙汉两族民族融合与友好往来的象征，对于美岱召城寺后期发展具有奠基作用。研究板升城建筑是在丰富美岱召建筑版图，也是在探索从设计学视角下如何传承古老建筑，为重要历史建筑提供一个跨界展现方式。声景交互：一种感知的构建2。声景概念最初源于音乐和声学生态学领域3，而后在建筑学、环境健康学、城市研究等学科中迅速拓展。刘江4以意大利阿尔泰纳小镇声景设计为例，当地通过引入骡铃声这一标志声景，营造场所感与文化氛围，从听觉维度提升空间品质和内涵；杜春雨5等人运用简氏 POMS 心境量表分析工具，得出步道噪音、声环境、声源感知频率与响度等因素对使用者心境状态影响较大，为城市健康步道的质量提升提供参考；施煜庭6等人对公共空间中声景元素进行采样分析和评价，进行园林景观装置设计，提高观者视听觉体验。随着对声景理论研究的不断深入，其逐渐与心理学、社会学、艺术学等多学科交叉所形成的新兴研究领域，因此在本文中从通感设计角度去定义声景交互概念，声指代听觉感官（音乐），景指代视觉感官（建筑），指人的听觉与视觉相互刺激影响构建一种新的感知体验，丰富视听觉内涵。2 通感理论模型 2.1 通感理论概念 通感是一种跨模态感觉体验，不同感官的融合刺激产生不同的认知体验。从定义上区分，通感分为自然通感与人工通感。自然通感是一种发展性通感。人工通感则是通过后天培养或者外部刺激形成的感知16 包 装 工 程 2023 年 4 月 觉体验。从类型上区分，通感有感觉挪移、多觉叠加、意象互通三种7。感觉挪移是感觉的转变，是直接联想。多觉叠加是多感融合，通过联想、想象融合多种感觉叠加生成意象。意象互通是情感的升华共鸣，是以前两层类型为基础，将主观情感与客观事物进行融合，形成深层情感反思体验。这三者是由低到高变化，相互影响。2.2 通感理论研究内容与应用 通感人群分为两种，通感者和非通感者，两者对通感感知程度不一，产生不同认知模式、认知基础和感官体验。通感的产生的基础一是生理基础，是直接反应感觉信息；二是心理基础，间接表达记忆、联想、想象、情感反应。通感本身是一种体验，包括感官（认知）体验、情感体验、文化体验、回忆体验等。视觉、听觉是受外界刺激最明显的感官，视听通感最为常见通感类型。通感转化设计的核心机制是外在感知觉刺激通过感官器官形成内在通感体验，进而输出为感知意象的转化流程 8。通感研究主要是集中在神经科学、心理学的自然科学领域和文学、绘画、音乐、建筑、影视、设计等人文社科领域。国内最早对通感理论的介绍从文学修辞学展开，开始于 1962 年钱钟书先生发表的通感一文，文中指出通感是一种描写手法9。近年来，通感理论在设计领域研究与应用愈发广泛。在文创设计中，利用通感拓展文化元素的传播形式。王强10等人通过对越剧柳毅传书听觉符号的梳理与应用，将其中唱段进行视觉图形映射，得到以越剧文化本体元素的可视化动态桌面壁纸创新设计，为越剧文化的继承与传播提供了新途径。以通感理论为启发进行产品设计，提升产品的体验性和实用性。王伟伟11等人运用可感知化映射方法，提取本 觉产品造型设计语言，拓展感官维度，满足用户多样化情感体验需求；孙宁娜12等人从丰富用户情感体验角度出发，以普洱茶茶饮为例研究通感多觉叠加理论在产品设计中的应用策略，激发用户多层次体验感受。在包装设计领域，利用通感理论突破传统媒介的限制，信息传达渠道变得多样化。殷俊13等人通过用户知觉、行为以及场景引导进行食品包装的通感隐喻设计，提升消费者体验，促进产品推广。在装置设计领域，钟鸣14等人提出用户感知引导与环境引导两种方法，构建交互共同体，拓展体验者感知维度和情感体验深度。目前通感在设计领域应用已逐渐变得丰富多样，但将通感理论置于音乐与建筑之中作为两者联接媒介的研究较少。因此本文从认知层面剖析通感与体验者感知觉的关系，再从设计应用角度出发探索音乐与建筑之间的感觉联结，听觉与视觉之间的感官转译，搭建双向通感转化模型，从而实现感官到情感的综合体验，促进两种艺术语言交汇，丰富通感的设计价值。3 基于通感理论的声景交互设计方法 3.1 设计思路 在通感理论与体验设计两者结合的基础上，构建声景交互体验设计的整体模型，设计思路见图 1。声景交互通感的构建过程一方面是从体验者角度分析，建立体验者认知、体验模型和通感模型；另一方面从设计者角度分析，分析建筑（视觉）与音乐（听觉）的异同点，转换要素，实现两者要素编码转换，利用情感分析转换特征，构建完整建筑（视觉）与音乐（听觉）通感过程。在实践阶段，先对交互装置做设计原型，利用 processing 制作动画和交互效果，最后实现交互装置现场效果呈现。图 1 设计思路 3.2 设计策略 在通感理论和体验设计研究的基础上，提出声景交互设计策略见图 2。以环境引导为基础，设定特定恰当的主题情境，发挥环境在交互装置设计中的基础性作用；以感官体验为特征，通感本来就是一 种体验；以多重体验为核心，不同感官共同感受形成多重体验；以情感感知为关键，用情感触发用户对于事物的感知；以反思共鸣为目的，在多重体验、情感反馈、环境引导的作用下，引发用户对于事物的共情、思考和共鸣，对本觉与通觉的转换有着至关重要作用。第 44 卷 S1 期 张博，等：基于通感理论的美岱召声景交互体验设计 17 图 2 声景交互设计策略 3.3 通感理论模型 3.3.1 体验者认知模型 通感在人的认知结构中是双向思维运行过程，这是人主观认识了解客观事物的过程，也是感官对客观信息加工处理的过程。在本文中用户的感觉器官通过交互装置的声光色引导进入大脑神经系统，感觉器官通过大脑信息处理受到直接反应，个人信息系统通过大脑知识储备间接表达，利用记忆、感受等反应识别 信息，将原本的感知觉（本觉）传递输出为其他感知意象，生成通觉意象。在本次设计中主要将听觉（音乐）作为本觉，在人脑与交互装置共同作用下，生成通觉意象，即视觉（建筑）作为通觉，声景交互用户认知模型见图 3。3.3.2 体验者体验模型 利用体验设计模型和情感化设计的层次理论对美岱召声景交互装置展开不同的体验设计，声景交互通感体验模型见图 4。首先，通感本身就是一种体验，是所有体验的基础。在声景交互体验装置中，第一层体验是感觉层（本能层），主要是视听觉的感官体验。用户在体验过程中会获得对不同风格音乐的听觉感官体验，对美岱召板升建筑的视觉感官体验。第二层体验是知觉层（行为层），产生互动体验，由于用户的生理、心理基础，周围环境影响和交互装置产生互动。第三层体验是思觉层（反思层），会受到通感三层次的影响，结合周围环境反应、交互装置外在表达，实时产生一种文化体验。之后会通过对交互装置包含的信息、内容、含义、文化背景产生更深层次的反思体验15-16。图 3 声景交互用户认知模型 图 4 声景交互通感体验模型 3.3.3 通感转化模型 美岱召声景交互设计是基于建筑与音乐的通感联觉基础上生成，声景交互通感转化模型见图 5。音乐是本觉，也是触发点，不同音乐风格、旋律会有不同的听觉感知和情绪感受。将音乐的音高、节奏、力度、音长、音色编码成听觉信号，将建筑的外观、韵律、空间、张力、材质编码成视觉信号，通过人脑信息加工处理、周围环境调动生成通感意象，也是建筑可视化视觉画面。3.3.4 情感-通感关键材料 通感其实是一种基于跨模态对应研究领域的模态对应形式。跨模态对应是指大脑在不同感觉模式间匹配不同的体验特征或维度的趋势。本文采用情感中介的跨模态形式。用户情感的驱动和推进是实现通感的关键要素。美岱召声景交互装置设计情感模型即hevner 情感模型见图 6。音乐情感模型词汇聚类见图7。通过对 hevner 情感模型词汇聚类分析选取 6 种基本情感，分别是快乐、热情、抒情、生机、悲伤、神圣，并选择与其情感匹配的六首歌曲进行分析。18 包 装 工 程 2023 年 4 月 图 5 声景交互通感转化模型 图 6 hevner 情感模型 图 7 音乐情感模型词汇聚类 4 基于通感理论的美岱召声景交互设计实践 4.1 建筑与音乐特征分析 建筑与音乐异同点分析见图 8，分析建筑与音乐两者异同点，将异同点与之后通感特征绑定对应，为 六种情感结果选取源于刘涛.音乐情感认知模型与交互技术研究D.浙江大学，2006.建筑与音乐之间转换提供合理证据。音乐与建筑都是较为全面的艺术表达形式，音乐和建筑之间有共同属性。两者艺术的共通性的根本在于建筑所具有的音乐般的韵律感、节奏感。音乐基本要素包括音高、音长、音强和音色；形式要素包括节奏、曲调、和声，以及力度、速度、调式、曲式、织体等17。建筑的基本要素包括建筑功能、物质技术条件和建筑形象（即建筑艺术）；形式要素包括空间组合、造型形式、韵律感、材料的色彩和质感、光影和装饰处理等18。音乐与建筑要素分析见图9，音乐与建筑的要素分析，选取音乐五要素和建筑五要素进行分析处理，为视听觉通感转化奠定基础。便于下文针对不同音乐风格进行建筑可视化设计。4.2 听觉与视觉特征分析 4.2.1 感知分析 建筑是视觉艺术，音乐是听觉艺术，将视听觉结合产生通感，首先得分析视听觉感知属性和相似性，视听觉感知分析见图 10。视觉特征包括视觉心理、构图元素、色彩语义、视觉节奏，将这几种特征混合利用给人以强烈、柔弱等不同风格视觉感受。听觉主要是声音三要素响度、音高、音色，利用这三要素作出判断，转化为人的情感、经验等，影响人的行为。听觉与视觉的相似性是感官传递性、色彩感知性、心理共鸣性。4.2.2 关键点分析 交互装置的“听觉”信息是音乐，选取音乐五要素形成不同风格旋律的音乐表达不同的情感。“视觉”信息是建筑五要素里色彩、形状、材质变