交互式语境下的昆曲视觉编码研究.pdf

艺术交流1 1 6 5交互式语境下的昆曲视觉编码研究于西王淑敏南京艺术学院【摘要】本文以弗卢塞尔的“技术图像”理论为基础，探讨昆曲视觉要素在当代交互式语境中的编码方式。引用弗卢塞尔所提出的五级阶梯模型观点，解码互联社会中交互式图像生成的范式，着重关注昆曲视觉创作中能够嵌套交互性的界面层级，并将其分解为空间性、映射性、动态性、交互性四个特征要素，结合数字互动昆舞游园新梦中的创作实践手法完成论证分析。【关键词】昆曲交互技术图像交互界面中图分类号：J805文献标识码：A文章编号：1 0 0 8-335 9（2 0 2 4)0 1-0 1 6 5-0 6昆曲是融合视听体验的中国传统戏剧艺术。本文主要研究昆曲中视觉系统的编码特征，关注从传统图像至技术图像的时间维度中昆曲视觉内容的编码差异性，尤其关注以媒介学家威廉弗卢塞尔所提出的技术图像理论，以此探索昆曲视觉系统编码模式。本文通过分析视觉系统的编码，进而推导昆曲艺术的视觉形式转码，探索昆曲在技术图像时代下的信息传递，以及发展的多样性。视觉符号的转码指向技术图像视觉的再创造及交互式视觉的生成，同时也指向当下及未来正在出现的表现形式及新兴媒介，如：生成式艺术、生成式人工智能及脑机接口等多个维度。昆曲的传统视觉符号编码分析，本文以弗卢塞尔理论中的传统图像作为参考系，即对应弗卢塞尔构建的五级阶梯前四个历史维度；本文所探讨的视觉符号转码则对应第五个维度，即无维的微粒空间阶段。研究希望通过现代媒介理论结合设计实践，寻找昆曲视觉表现中实现转码的有效接口，实现传统艺术形式的赋能。一、昆曲的经典视觉（一）纹样视觉元素昆曲的视觉表现元素丰富，无论是角色的妆面，还基金项目：本文为江苏高校文化创意协同创新中心第三期（2 0 2 1-2 0 2 4)建设项目成果，项目名称：民俗博物馆中昆曲艺术数字交互沉浸式体验创新研究，项目编号：NYXT2022025；本文为2 0 1 9 年江苏省高等教育教改研究课题阶段性研究成果，项目名称：艺术设计在线教育研究，项目编号：2 0 1 9 JSJG275；本文为江苏省社会科学基金重大项目阶段性研究成果，项目名称：长江文化数字化研究，项目编号：2 3ZDW005。弗卢塞尔的理论观点认为，经由机器所生产的图像为技术图像，与传统图像不同，技术图像的解码需要破译生产技术图像的“文本”，而完全区别于经由人脑的智力与感觉所创建的传统图像。“技术图像”论证了人类的活动，经历了从四维连续空间到三维雕塑、二维图像、一维文字至当今无维的技术图像五个阶段。166是服饰纹样与图案，都呈现出古典美学的审美风格及造型风韵。传统纹样通常是平面化的，平铺于三维实体表层。昆曲中的生、旦、净、丑角的妆面风格各异，投射出不同角色的气质。在传统图像的层级中，包含立体的雕塑造型、二维平面化的图案，以及一维线性的叙事文本。昆曲的传统图案元素位于此阶梯中昆曲研究者王余璇在文献中对昆曲服饰的图案有所列举，云纹、水纹、回纹、如意纹、蝴蝶纹等都属于民间吉祥图案。其中，云纹属于自然气象纹，源于云气，形态自然。图案分别呈现两种编码模式，一是人工性的纹样提炼，如抽象化的民间吉祥图案；二是拟仿自然的图案。根据技术图像理论找到第一种一致性，即人类在传统图像时期，尤其在经典的昆曲艺术中，所制作的平面二维纹样灵感素材来源于物理世界。同时，抽象形态的西方洞穴岩画也指向某种外部实体或自然现象。可以看出这是一种跨越地理因素的文化共同性，指向人类共同的体验与认知。（二）身体的视觉元素昆曲角色的体态造型、行为韵律也是视觉系统中的构成要素。昆曲中舞蹈、武术的身体性表演，承担了戏曲中的动态视觉要素，构成演员在舞台中的身体空间，并同静态的服饰纹样及妆面图案一同构成观者的视觉体验。身体作为灵活的有机媒介，一方面为角色的服饰创造身体的空间造型及动态，另一方面肢体运动携带叙事信息，通过身体的律动及张力引发观者审美体验与心理共鸣。除此之外，动态要素的编排及设计还考虑到唱腔及伴奏的韵律与节奏，不同的乐器如曲笛和三弦，不同的唱念语调，以及不同的声场环境均会为昆曲建立不同王余璇：昆曲元素的艺术特征及其设计分析，明日风尚，2 0 2 3年，第1 5 期，第1 6 4 一1 6 6 页。ARTEVALUATION12024年第1 期的听觉秩序。音画关系将两者结合，构成编码系统中两个最为重要的环节。由此来看，昆曲视觉系统的编码在受到自身各要素权重影响的同时，还受到外部系统诸如听觉、叙事、环境等多要素的协同调节。对于经典的视觉编码分析，应当关注其他感知媒介的特性与间接影响。而对于接下来要分析的技术性编码，则呈现更为复杂的交互关系，无论是视觉还是听觉，在技术化系统中将呈现出新的现象。二、交互为昆曲视觉赋能（一）昆曲与视觉技术编码技术阶段主要分析以弗卢塞尔所提出的技术图像语境下的自动化阶段。空间、社会及人类的定义被拓展延伸，以摄影为代表的图像制作技术改变了传统图像意义生成的方式。昆曲将应对保护、传承、拓维、传播等新的挑战。无论是视觉系统中的图案、行为、身体空间，还是听觉系统中念白的行腔与语速节奏、器乐的音律、声环境等，均需要主客体的感官在场。经典的传播模式受限于传统界面，使之只能在特定的地点和时间中发生演绎关系。当人类从机械自动化进人模拟时代，进而又快速过渡到数字化的现代社会，技术图像预言的合理性被亮起的像素颗粒所证明，由弗卢塞尔所构想的算力互联社会已悄然来临。当图案、图像的生成不再受人的直觉观察、翻译、描绘行为所支配，视觉的合成变为算法文本的编排和逻辑的游戏，视觉系统编码的复杂性由此开始出现。经典的昆曲视觉系统中，纹样的设计及制作依托艺术交流1 1 6 7于经验及世界体验的认知，例如角色服饰中代表着权力可以在创作中作为界面主体位置的捕捉工具。昆曲的数等级象征的龙纹及蟒纹，来源于人对于自然及统治性字化项目中，使用综合性的传感器设备，将会为角色的的崇拜，亦是一种思维投射。在技术图像理论的历史阶身体表现力赋予更多动能。观者的体验也将在技术赋能梯中，这将归类为传统图像范畴。但是传统图像与技术下获得更宽阔的感知维度。图像间的界限是否可以打破？或者说经典的昆曲艺术，（二）视觉技术类型分析在技术编码万物的语境下，如何实现转码。作者认为这前文谈到两件事，一是昆曲视觉中技术层的编码方并非一个视觉形式迁移的过程，尽管如今的技术媒介为法，二是编码的工具，即当下如井喷式发展的各类交互昆曲的发挥提供了一个自由开放的环境，如：合成场技术、硬件设备。下面要谈的便是对技术编码的类型解景、虚拟现实、增强现实、混合现实等交互界面，但是析。编码需要有规则，规则决定合成的方向。例如在传媒介的技术性编码正变得愈发复杂。倘若不能合理编排统昆曲表现中，文化通过价值取向及故事线索来编码剧这些技术合成背后的逻辑，尤其是技术图像所呈现出新本，合成昆曲的叙事。叙事再经由角色的现场发挥，将的互联性、自动性、智能性，也就无法顺利实现昆曲视其剧本信息转译为表演现场的形式语言。但是在技术图觉的技术转码，更无法实现创新中的逻辑自洽像语境下的编码则包含更加延展的内涵，主要将技术编视觉的数字合成可以经由算法驱动屏幕像素来生产码视觉的类型分为三个方向：生成式影像技术、互动照技术图像，也可以通过信号控制光源产生交互式的灯光明技术、身体量化与互动技术。照明。前者在交互影像中常见，后者则偏向于数字舞台对于通过技术手段合成的影像，如技术图像的编码，美术。但对于创意的探索，这种对应关系并非绝对。这其是通过计算机文本的循环计算完成的，这是一个进里，人们可以观察昆曲中最具鲜活特色的唱念做打形程，而非终止态。因此，对于技术图像而言，实时性是式。技术的加入对动态视觉的体验增强，尤其是身体动主要特点，并且结束状态也可作为起始信息，被再次执作表现力的赋能，效果是可观的。由微软开发的运动体行，即任意时刻形式量化的数据亦可成为下一次迭代的感捕捉器可以通过摄像头实时捕捉人物体态，将身体的输人变量。技术图像如同绘画，同样具有画面构成及叙图像数据量化为骨骼坐标信息。与此实现功能相近的，事性，而它却具备传统图像所缺少的能力，即动态可变由谷歌开源人工智能算法，通过计算机视觉库，实现光的形式语言。在昆曲的视觉系统中，无论是角色妆面形学分析捕捉人体的骨骼动态，实现演员动作的实时分析式，还是服饰图案，均以静态元素设计而成。传统图像与交互。对于演员角色的空间位移，使用激光雷达测的编码方式决定静态视觉元素生成的不可逆性。昆曲的距，如：北阳电机及思岚科技等公司开发的工业雷达，视觉符号定格在图案创作诞生的那一刻。技术图像式的来源于昆曲研究者王余璇在昆曲元素的艺术特征及其设计分析中对于昆曲服饰图案的考察。戏曲表演中的四种艺术手法，“唱”指唱功，“念”指音乐性念白，“做”指表演，“打”指武术动作。唱念做打贯穿于戏曲艺术的形式语言中，强化表演的情绪性。168艺术祥堂ARTEVALUATION12024年第1 期视觉跨越了这种局限性。在新的技术性创作范式中，编排者可以通过计算机着色语言创建纹样、图案、虚拟场景等交互式视觉景观。灯光是可以实现交互式照明的媒介，由算法或数据驱动。在传统的昆曲演出环境中，灯光扮演打光与氛围营造的角色。如今，灯光交互成为一种更加独立的元素出现于昆曲中，辅助以舞台美术的实现。使用标准灯光协议驱动照明设备，可以实现交互式灯光与其他表演数据的联动，为昆曲的表现力赋予更多样化的形式。身体量化技术开创了演员身体与舞台空间的接口。自2 0 世纪7 0 年代开始的后人类主义及现代技术催生的超人类主义思潮涌动，身体和身份性的问题得到学者们的关注。无论是有机的湿性身体，还是芯片式机器心智，身体的内涵和外延都在重写和定义。不断创新的生物信号传感技术，如：体感、肌电传感、意念传感等方式，拓宽了昆曲中身体性的表达方式。在这个过程中，昆曲演员的表现空间被延展。例如，角色可通过技术性接口，实现与观者思维的互动，根据现场数据驱动表演行为，或放大某种在常规舞台体验中不易被察觉捕捉的信息文本。因此，借助于传感技术，身体的形式语言也在多种媒介手段的辅助下丰富起来，开辟出互联式的信息空间，但仍需技术的迭代和实践性验证。三、交互式昆曲界面的特性弗卢塞尔将人与世界的交互关系划分为五个空间维度，代表不同的界面。人通过媒介在相应空间内获取经验、转化知觉、驱动行为。按照技术图像理论的架构，将传统的昆曲体验视为经典界面，则它应当是集合四维连续、三维的身体、二维的服饰图案，以及一维的行腔及叙事于一体。进人技术图像社会后，界面的拓展性得到增强。网络通信与虚拟合成技术的发展让昆曲表现场域更加多样化，一方面体验行为可以发生于虚拟的介质中，由技术图像营造虚幻的现场氛围，另一方面，现场性的昆曲表演也可以通过数字赋能，实现视觉体验的增强。界面的特性与昆曲视觉符号的关系值得推敲，笔者的观点中，由技术图像所驱动的昆曲视觉界面呈现出空间性、函数关系、连续与非线性、对话与反馈四种特性。（一）昆曲界面的空间性与映射性空间是一种场域，昆曲是在场体验的视听艺术，承载表演行为的场域是其形式语言传达的基础。空间的概念被当代技术所延展，尤其是技术图像理论的提出，为解读抽象的粒子空间提供了方法指导。当下，空间可以是一种实体界面，所有相互关联的角色所组成的交互式场所。昆曲表演的场域即在这个坐标系统中。空间也可以是从虚拟到实体的界面，如通过网络通信、空间计算实现在数字媒介中参与真实空间的互动。另一层面的空间则存在于抽象的逻辑世界中。经由技术化媒介所合成创造的虚拟坐标系统，虚拟性、可编辑性、实时计算性、可改写等性质，是这个空间坐标系的特点。由规则组合出的输入输出系统具备相应的映射性，可以描述为由主体和客体建立的函数关系。操纵函数者向其提供指定参数，系统则会自行运算并给予反馈结果。这个过程类似于计算机中的函数，通过编写与封装功能语句，为开发者提供模块式的功能集合。昆曲的视觉界面在传统语境中也存在这种关系，如服饰图案所呈着色语言，是一种运行在图形显卡上的计算机语言，通过编写GLSL等脚本创建丰富的交互式视觉效果。例如DMX512灯光数据协议，通过调用遵循其协议的设备，可以实现照明与其他交互媒介间的数据联动，在创作中实现互动。I艺术交流1 1 6 9现的信息是角色身份的投射。前文所提及的蟒纹与龙纹的工艺纹样，而是由数据及数组驱动，实时扫描技术媒象征皇室权力，这是一种文化编码的经验系统，给予人介中的影像。知觉反馈。如果把社会文化视为黑箱系统，则服装或任在技术图像语境下，将昆曲的艺术现场视为一种开何昆曲中可能出现的视觉符号均作为函数系统的输人参放界面，观者与演员之间的角色互动已不再是从传达到数。系统通过文化经验的投射计算可能性，输出为在场感知的过程。每一位在场者将拥有能力深入融合到现场观众的直觉与判断。但是在技术图像的语境下，函数关的表演关系中。例如通过数字化传递的信息，通常可以系被分解为更加细小的单元。例如，使用交互式工具创结合更多的交互式视觉内容元素，进行辅助说明性视觉建模态的转换接口，通过对昆曲演员的语言、动作、神呈现。观众对于文化内容的学习，也将逐渐脱离枯燥的态等数据量化，生成其他编码系统的数据，如：声音、说教式信息文本，进而转入无维的技术图像信息捕捉过灯光、影像等。张鸿远在研究中基于深度学习构建的程。另一方面，数字化社区平台也将不同身份的爱好者昆曲动作识别系统，即以数据单元投射复杂性信息结汇聚起来，打破了传统界面中创作角色与欣赏角色间相果，通过机器的转码来增强分析能力。因此，可以将黑对隔离的身份状态。人际交互关系逐渐开放。同时，人箱的设计模式嵌人昆曲视觉编码系统，推动昆曲从信息与昆曲作品间的时间、场域、叙事参与的关系也同样互传达层面的转码。通。另一方面，审美个体的身份认同性与个性呕需被关（二）昆曲界面的动态性与交互性注，审美经验、文化背景、个人情感等非线性的庞大数动态性描述事物的过程特性，可分为连续与非连续。据集合，需要在当下存在这样一种互动空间，为更多的模拟信号是连续的，数字信号是离散非连续的采样结审美个体满足情感与关注的需求。昆曲作为具有文化背果。如果从技术性启示中类比艺术活动，会找到诸多有景的视听艺术，可以为体验者、爱好者创建这样的对话趣的共通性。在传统的昆曲形式里，多以连续的叙事、式界面。对白、身体语言来塑造表演。传统纹样中连续的几何造型也映射出人类对于延绵、秩序感、可捕捉物象的审美偏好，这是人们所熟悉的视觉世界。非线性虽然也时常出现于昆曲叙事中，如角色妆面造型的差异性，通过不同的妆面刻画彼此独立的角色个性，但非线性的意义更多体现于技术图像的语境。数字化基于离散的空间而存在。数字化媒介结合不同的通信形式，如：网络、影像、声音等数据流，交互维度更加广阔，指向性则更加多元。因此，技术化的昆曲表现中，图像可以不再是连续张鸿远：基于深度学习的昆曲动作识别与交互技术研究，北京：北京邮电大学，2 0 2 4 年。游园新梦南京艺术学院设计学院毕业设计展演；指导教师：童芳、卢毅；创作学生：张梦岑、张惠、蔡珍珠、顾影、练凌飞等。四、昆曲视觉转码（一）交互式昆曲实践分析数字互动昆舞表演游园新梦是运用技术媒介探索传统昆曲艺术转码的实践。作品从长江文化切人，以中下游地区苏州园林为背景展开创作。昆舞者的表演环境从传统的舞台迁移至开放的展览空间中，观众得以从新的视角重新获取传统艺术的叙事体验。170艺术评堂ARTEVALUATION12024年第1 期1在游园新梦中，舞者、光影与音响、装置结构、交互系统共同组成作品的内容要素。不同的要素间又通过技术媒介彼此关联。动态的计算机图形通过投射附着于不同的结构体表面，组合为丰富且具有偶发性的技术图像。灯光与舞者的现场反应则经由交互系统进行生成。通过在垂帘结构上方安置红外传感器，感应检测昆舞演员的身体活动。当舞者进人垂帘空间，灯光渐渐点亮，营造诗意与梦境的氛围。昆舞演员的运动间接且实时地控制了作品形式的生成。即使表演预先安排好的昆曲内容，因现场观众人数、位置、行为的不确定性，都将导致每次演出中空间光影效果的不同变化，这种随机性增强了作品视觉传达的形式多样性。（二）交互式昆曲的构想与反思从游园新梦作品视角观察前文所提出的影像、灯光、身体三者的技术编码论述，可以为昆曲艺术的视觉表现创新提出一些设想与观点。提到昆曲表现界面的空间性，在弗卢塞尔论述中，空间可以是一种实时计算的无维度微粒（像素）世界。因为合成视觉表象的依据可以是抽象数据，因此形式的生成将被加速，且使用更多的自动化方法来实现。人们可以依据算法创建视觉形式，在游园新梦中，通过计算机图形技术合成的动态纹样，一方面展现了计算机图形（技术图像）凝结视觉信息的能力；另一方面则呈现出信息本身的价值。弗卢塞尔指出技术图像的生成过程由机器指令与逻辑实现，而非人眼观察的直接投射。因此，任何操纵机器设备的创作者都将有更大的责任去保护信息的真实性与有效性。昆曲艺术中的文化样本更应当被人们更多关注，而非被技术媒介的强大合成能力所任意改写。当然，在生成式艺术中，将算法与逻辑之美视为创作主体的表现手法，则是另外的话题。灯光与身体在游园新梦中是交互呈现的，但从更高层面来看，灯光与影像本身具有联系。现代的灯光艺术基本由数字电路控制。这样来看，技术图像所合成的像素与数字信号所驱动的照明形式都具有相同的本源逻辑。即使在作品中，投影出的艺术形象比灯光形式更加具体，表达更加明确的视觉符号，但对于表象背后的驱动主体都来源于二进制数据。因此，笔者认为，人与数据交互接口的建立是作品意义成立的前提。因为技术图像可以不经过人脑而自发由电子凝结创造，绚丽丰富的视觉幻象在这个过程中却仅仅指向数据本身。当然，技术媒介的发展已经进人指数增长期。无论是经典的生成式视觉艺术，还是使用神经网络创造人工智能图像，目前的趋势都表明技术图像的世界正在发展。昆曲艺术的创新应当赋予其视觉表现更多样的手法，但不仅于此，对于技术图像所呈现出的负面效应，尤其是廉价的视觉合成所引发的技术图像霸权，导致信息文本的多样性下降。充斥于现实中的图像有效性也同样堪忧，应当进行思辨。创作者应更加关注数据的来源，关注机器合成过程中数据的意义及指向，以及人作为主体，在经典艺术的传承中所扮演的重要角色。参考文献：1威廉弗卢塞尔.技术图像的宇宙 M.李一君,译.上海：复旦大学出版社,2 0 2 1.2计海庆.增强、人性与“后人类”未来：关于人类增强的哲学探索 M.上海：上海社会科学院出版社,2 0 2 1.3威廉米切尔.重组的眼睛:后摄影时代的视觉真相 M刘张铂泷，译.北京：中国民族文化出版社,2 0 2 2.4张鸿远.基于深度学习的昆曲动作识别与交互技术研究 D北京：北京邮电大学，2 0 2 4 年.