互动有声读物中的数字叙事研究_何珊.pdf

89出版科学（双月刊）2023231期年第第卷PUBLISHINGJOURNAL互动有声读物中的数字叙事研究何珊（武汉大学信息管理学院，武汉，430072）基金项目 本文系国家社会科学基金重大项目“虚拟现实媒介叙事研究”（21&ZD326）中期成果。作者简介 何珊，武汉大学信息管理学院 2020 级博士生。摘要 移动音频相关产品和服务的显现成为“听觉转向”的重要标志，并伴随着移动终端及互联网技术的发展而迅速崛起，逐渐丰富了叙事形式和内容。本文以叙事学的“听觉转向”为背景研究互动有声读物中的数字叙事：首先，界定互动有声读物的概念，论述其后线性叙事、多模态叙事和空间叙事三大叙事特征；其次，从情节类型、文本架构和互动模式三方面着手探究互动有声读物的叙事设计；最后，从工具体验、使用体验和意义体验三个维度分析互动有声读物的叙事体验。关键词 听觉转向互动有声读物数字叙事互动叙事数字出版 中图分类号 G237 文献标识码 A 文章编号 1009-5853（2023）02-0089-08Digital Storytelling in Interactive AudiobooksHe Shan（School of Information Management，Wuhan University，Wuhan，430072）AbstractThe emergence of mobile audio-related products and services has become an important symbol of the“acoustic turn”,and with the rapid rise of mobile terminals and Internet technologies,it has gradually enriched narrative forms and contents.This paper studies digital narratives in interactive audiobooks against the background of the“acoustic turn”in narratology:first,it defines the concept of interactive audiobooks and discusses three major narrative features,including its meta-linear narrative,multimodal narrative and spatial narrative;second,it explores the narrative design of interactive audiobooks from three aspects,i.e.plot type,text structure and interaction mode;finally,it examines the narrative design of interactive audiobooks from three aspects：instrumental experience,use experience and meaning experience.Key wordsAcoustic turnInteractive audiobooksDigital storytellingInteractive narrativeDigital publishing出版科学，2023，31（2）：89-961叙事学的“听觉转向”早在 20 世纪 60 年代，现代听觉文化研究的先驱，加拿大学者雷蒙德 默里 谢弗（Raymond Murray Schafer）就创造性地提出“声景”（Soundscape）的概念：“世界的声景正在变化。现代人正开始处于一个十分不同于迄今已知的声音环境世界中”1。同期，媒介环境学派学者马歇尔 麦克卢汉（Marshall McLuhan）在理解媒介：论人的延伸中阐释了“重回听觉”的观点，并首先提出“听觉空间”（Acoustic Space）的概念2。人类主要通过叙事来传递自己对外部世界的感知，而故事的讲述方式又会被感知媒介与途径所影响3。长久以来，人们更为倚重视觉认知。“眼见为实，耳听为虚”一词就是生动写照。到了“读图时代”，“听”很多DOI:10.13363/j.publishingjournal.20230330.00890多媒体数字出版栏目主持睦盫时候甚至成为一种可以被忽略或替代的信息接收方式。在叙事学研究中，国内外学者在较长时间内主要关注视觉叙事，而相对忽视了听觉叙事。但实际上，叙事从一开始就是一种生产听觉空间的行为4。人文意识的勃兴与听觉在叙事中泛起的回声最终导致了叙事学研究的听觉转向5。“听觉转向”顺应感官平衡的呼声，并非单纯的“听觉文化转向”，而更多指的是叙事研究中的听觉维度6。“听觉叙事”（Acoustic Narrative）这一概念也逐步进入叙事学领域。移动音频相关产品和服务的显现成为“听觉转向”的重要标志，并伴随着移动终端及互联网技术的发展而迅速崛起，逐渐丰富了形式和内容。本文以叙事学的“听觉转向”为背景，研究互动有声读物中的数字叙事，并从叙事特征、叙事设计和叙事体验三方面展开。2互动有声读物的概念和叙事特征听觉文化是以现代听觉技术为媒介、以被复制保存和技术处理过的声音为呈现形态的文化现象7。有声读物是当下听觉文化的主流形式之一，并随着人工智能、语音交互、虚拟现实等新技术的发展以及移动设备和智能播放器等传播载体的变迁，而更富交互性和沉浸感，进而衍生出互动有声读物（Interactive Audiobooks）这一新形式。实际上，互动有声读物并不是新鲜事物，大约 20 年前就已在国外初具雏形，但发展至今尚未形成统一的标准和模式。全球音频产业持续繁荣发展，行业巨头力图在技术研发和业态革新等方面实现变革与突围。其中以 Audible、Storytel 等欧美国家的有声平台在实践上较为领先；也有如新西兰初创公司 Sonnar、瑞典小型工作室 Wanderword 等相继试水。此外，国内外目前对于互动有声读物的研究仍不充分，尤其是在概念特征、创新实践等方面尚有待探讨。通过梳理现有实践和研究，可将互动有声读物的概念界定为：以声音为主要展示形式，需存储在特定载体，通过播放设备和语音交互技术解码、传播载体内容，并以听觉方式阅读和实现用户参与、互动的出版物。目前，互动有声读物多运用于教育、娱乐、游戏等领域。作为一种新的互动媒介，互动有声读物的“讲故事”能力、叙事手法与电子书、社交媒体、游戏等在存在相似之处，但在具体表现形式上有所不同。互动有声读物叙事主要有以下特征。一是后线性叙事。从叙事的普遍存在性来讲，故事是独立于其所依附的科技而存在的；同样的故事可以从一种媒介迁移到另一种媒介8。印刷文本是线性、逻辑、连贯叙事的最经典范本；而传统有声读物几乎原样继承了印刷文本的叙事特性，使用线性、静态情节和固定故事线。受众往往是被动的，只能进行暂停、退后和快进几种简单的互动，也只能通过重复收听来发现额外的细节，但不能体验变化，也不能影响现有故事线。而互动有声读物瓦解了这一模式，显现出后线性叙事特征。后线性是一种结合用户参与来创作线性故事的数字叙事模式，它的形成不仅需要人的认知和记忆能力，还需要新的因素，即人的亲身参与，或称用户与机器间的“实体互动”（Ontological Interaction）9。这一模式下，互动有声读物的受众从而有幸成为故事的“导演”，影响故事的情节、干预故事的发展方向。受众的主动性是线性叙事在新媒介环境中继续存在、发展的基础和前提，也只有当受众实际参与、介入文本时，叙事才能完成，后线性叙事特征才真正得以显现。二是多模态叙事。模态指人类通过感官与外部环境之间的互动方式。多模态指任何由一种以上的符号编码实现意义的文本10。而多模态和叙事有机结合，便形成了叙事参与者与故事得以相互影响的叙事类型多模91出版科学（双月刊）2023231期年第第卷PUBLISHINGJOURNAL态叙事（Multimodal Narrative）。正如罗兰 巴特（Roland Barthes）所言：“对人类来说，似乎任何材料都适宜于叙事叙事承载物可以是口头或书面的有声语言、是固定的或活动的画面、是手势，以及上述所有材料的有机混合体”11。多种数字媒介的去边界性使文学跨越媒介系统内部的符号体系，从而构建一种结合众多叙事特征和多模态媒介表现形式的故事世界12。互动有声读物虽然缺少视觉模态，但也并不是单一模态的产物，而是由多种听觉符号构成语言、声音、音乐。“听觉语法”对听觉符号的语义资源进行了系统分类，相应的听觉符号分析也证实“每一种符号模态都会自动实现三大元功能概念（Ideational）功能、人际（Interpersonal）功能和语篇（Textual）功能”13。互动有声读物中的声音整体上可分为有语言声音和无语言声音：有语言声音一般包括台词、有歌词音乐等；无语言声音一般包括无歌词音乐、非语言声响等。其可结合受众的声音或其他模态的“实体参与”（Ontological Participation）成为作品中的叙事元素，共同实现多模态意义构建，从而增强叙事效果，实现信息接收和传达。三是空间叙事。随着叙事理论从线性的时间叙事转向空间维度，受众的参与和感知前所未有地被视为叙事机制中的结构性条件14。加布里尔 佐伦（Gabriel Zolan）在走向叙事空间理论中所构建的空间理论模型建立在文本的虚构世界基础之上，强调空间是一种受众积极参与的建构过程，指出叙事中空间再现的三个层次分别为地志空间、时空体空间和文本空间15。声音的空间效果是受众通过听觉系统对叙事空间状况做出判断而取得的一种听感效果；而这种听感效果能够展示声音所处空间的状况16。互动有声读物的叙事总是在时间中推进，在空间中展开。受众通过自己想象和幻想中的“图式”存在于脑海和记忆中的认知结构或知识结构，积极地参与虚拟空间世界的构建。与图像的“直接”和文字的“细腻”相比，声音符号的叙事优势在于营造意境空间，既能传情达意，又能引导听众“身临其境”。3互动有声读物的叙事设计数字媒介光怪陆离的特征遮蔽了人们的视野，让人们遗忘了互动叙事的远古起源。互动媒介专家猜想，互动故事叙事的最早形式诞生于围绕篝火的史前人类。这一故事讲述者对所讲的故事只有一个总体想法，并没有既定的情节，而是根据听众反应来进一步塑造故事。同样地，互动有声读物的听众通过简单的语音命令控制交互式音频，以对话或聊天形式获知故事的情景和语言，并决定故事的情节如何发展。互动有声读物是“以声音为中心的媒介”，是原始的“讲故事”场景与新技术碰撞出的美丽“火花”。叙事学者玛丽-劳尔 瑞安（Marie-Laure Ryan）曾提出：“新媒介叙事的研发者所面对的最迫切的问题是，找到哪些主题和哪些情节类型最适合利用媒介的内置属性”17。本文试图从情节类型、文本架构和互动模式三方面着手探究互动有声读物的叙事设计。3.1情节类型：冒险故事互动有声读物叙事的重点之一在于非线性情节的设计和制作。在设计互动叙事时，首先要考虑故事的情节类型，情节类型预设了人物角色、组织结构、互动参与的程度与范围，以及相应的审美体验18。瑞安曾提出4 种适合互动叙事的潜在情节类型：史诗情节（孤独英雄的业绩）、戏剧情节（解谜、逻辑推理）、认知情节（人际关系的演变）和肥皂剧情节（多个人物分离、偶尔交织的命运线索）。现有互动有声读物中最常见的是冒险故事，也正是因其具备了这 4 种情节类型中的一种或多种。艾迪森市调公司（Edison Research）对 18 岁及以上美国有声读物听众92多媒体数字出版栏目主持睦盫的调查发现，冒险/惊悚/悬疑仍是最受欢迎的有声读物类型19。目前，已有索尼影业、迪士尼、Audible 以及 BBC 等多家大型媒体和娱乐公司进入这个新市场，例如由环球影视（N