产品声音的交互式聚类设计研究_张扬.pdf

第 44 卷 第 8 期 包 装 工 程 2023 年 4 月 PACKAGING ENGINEERING 115 收稿日期：20221122 基金项目：宁波市哲社规划课题（G21-3-ZX75）；浙江省基础公益研究计划项目（LGG19E050004）作者简介：张扬（1980），男，博士，副教授，主要研究方向为人机工学，产品创新设计。产品声音的交互式聚类设计研究 张扬，陈文颖，皮珊，丁胜年（宁波财经学院，浙江 宁波 315175）摘要：目的目的 声音是产品和用户之间的一种沟通媒介，为了增进设计师对产品声音的理解、合成与设计匹配，提出一种交互式可视化产品声音数据聚类分析框架。方法方法 首先通过神经网络将设计师感官描述式信息与声音的特征参数进行融合嵌套；其次基于高斯混合模型来描述非线性几何分布的产品声音数据；最后设计师输入个人先验知识经验参与交互聚类。结果结果 基于 Python 的 Anaconda3 包开发了产品声音交互式聚类的可视化分析实验工具，得到最优化产品声音聚类结果。结论结论 该产品声音交互聚类可视化分析工具融合了声音技术参数和人脑听觉反应机制，在聚类过程中允许用户参与交互并融入用户的先验知识，并行视图可以实时显示数据元素的流向和判别类别的稳定性。同时，可视化分析可以帮助用户横向比较各聚类结果的异同，样本的比例分布与合理性，以期寻求最优聚类结果。关键词：产品声音；融合嵌套；交互式聚类；可视化分析 中图分类号：TB472 文献标识码：A 文章编号：1001-3563(2023)08-0115-08 DOI：10.19554/ki.1001-3563.2023.08.011 Interactive Clustering Design of Product Sound ZHANG Yang,CHEN Wen-ying,PI Shan,DING Sheng-nian(Ningbo University of Finance&Economic,Zhejiang Ningbo 315175,China)ABSTRACT:In view of that the sound is a communication medium between product and user,the work aims to propose an interactive visual analysis framework of product sound data to improve the designers capability of understanding,synthesizing,designing and matching the product sound.Firstly,the sensory description information of designers was fused and integrated with the characteristic parameters of sound through neural network.Secondly,gaussian mixture model was used to describe the product sound data in nonlinear geometric distribution.Finally,the designers input per-sonal prior knowledge and experience to participate in interactive clustering.Based on Anaconda3 of Python,a visual analysis experimental tool for interactive product sound clustering was developed,and the optimal product sound cluster-ing results were obtained.The visual analysis tool for interactive clustering of product sound combines the technical pa-rameters of sound and the auditory reaction mechanism of human brain,allowing users to participate in interaction and integrate their prior knowledge in the clustering process.The parallel view can display the flow direction of data elements and judge the stability of categories in real time.At the same time,visual analysis can help users to compare the similari-ties and differences of clustering results horizontally,the proportional distribution and rationality of samples,in order to seek the best clustering results.KEY WORDS:product sound;fuse and integrate;interactive clustering;visualization analysis 人类通过耳朵接受声音而感知外界事物和意义。黑格尔在美学中就有“艺术作为感性事物，只关涉视听两种认识性感觉”的论述，可见声音与图像一样具有重要的研究价值与意义。在产品设计领域，通常基于信息学角度将产品声音划分为两类：一类是信息提示和警告声，如按键的反馈声，洗衣机的滚筒翻116 包 装 工 程 2023 年 4 月 转声，汽车倒车的“嘟嘟”声等，从中用户可以感知到产品的信息交互反馈、运作状态及警示1；还有一类是引导和解释声，如汽车导航、语音机器人等智能终端就是利用了语音的亲和力给予用户温馨提示，构成了用户体验过程中可辨识的引导“线索”。产品设计师在选择上述产品声音时通常采用的是感官描述法2-3，即借助形容词来描述声音带给用户的直接感官刺激，以及与视觉、触觉、情绪等一起产生的联动生理与心理感知。其中代表性的声音直接描述词有“咔嚓”“滴答”“飕飕”等，联动感官描述词有“轻快”“愉悦”“紧张”“机械”等。设计师借助感官描述法和相关符号理论为交互界面的图标、产品的实体按键匹配上合适的声音，如洗衣机操控界面的产品声音设计4。除此以外，产品设计师还可凭借听觉所带来的“感官联动效应”5，利用声音的感觉意象作用，挖掘用户内心需求开展设计，如眼镜框架形态设计6，真空吸尘器的色彩和尺寸设计7。从前期文献来看，由于实验所用的声音收集来源较为随机，主观描述词汇的有限性和模糊性，难以对各类声音进行更为准确地识别和归类，这在一定程度上影响了后续的相关设计的有效性。声学工程师认为声音是一种振动波，是各种频率和强度正弦波的叠加，可以利用傅里叶函数进行分解与变换，也可利用各种参数进行技术表征，常见的有基频、能量、过零率和梅尔频率倒谱系数等8。然而在产品设计中用到的声音既有纯音，也有复合音，有时声音的表征参数接近，可能带给用户的听觉刺激和生理、心理反应截然不同，而且声音表征参数众多带来的高维数据，将会增加声音信息表达的复杂性和声音分类的准确性。声音是产品和用户之间的一种沟通媒介，聚类分析是研究声音的重要方法之一。为了增进产品设计师对声音的理解、合成及与设计符号的有效匹配性，提出了一种交互式可视化产品声音数据聚类分析框架。该方法融合了声音技术参数和人脑听觉反应机制，并且交互式聚类过程能让设计师参与其中，输入个人先验知识经验，得到更符合预期需求的最优结果；过程与结果的可视化表达，有助于设计师对产品声音及其媒介沟通机制的理解，提升设计的有效性。1 声音数据的分析 1.1 感官描述式 早期产品设计师在分析声音时主要聚焦于声音与感知意象关系的映射上9。通过招募专家与用户来对声音进行感官与情感描述，或者通过文献搜寻声音的相关描述词，经统计筛选后得到若干组简练且有差异性的描述词汇，以此作为衡量维度对声音进行分类。参照上述思路，通过两种途径收集声音资源：从Soundsnap、Sound Ideas、声音网等国内外网站下载音效资源；作者团队前期数字合成。本次实验共收集150 种音效资源，时长在 210 s，内容与产品声音相关度较高，涉及的产品功能操作行为有开、关、旋转、按压等，发声场所有户外、办公室、厨房等，时间上有长短快慢、节奏重复等变化，结合前期文献，整理出可供选择的声音属性描述，见表 1。表 1 产品声音相关的属性描述列表 Tab.1 Attribute description list of product sound 功能行为 发声场所 时间属性 发声源 感情属性 打开 户外 短 电子 紧张 愉悦含蓄关闭 办公室长 机械 轻松 压抑突兀旋转 厨房 快 家居 细腻 急剧熟悉按压 浴室 慢 环境 粗犷 迟钝陌生倾倒 卧室 不变 其他 机械 尖利宏大吹风 公共场所重复 人工 低沉微软 规则 刚硬 柔弱 在此基础上，邀请 32 名自述听力正常的用户（2名声音专家与 30 名工业设计专业学生）参与本次实验。其中，参与实验的 1 名专家用户来自某汽车厂商从业 4 年的音效设计师，1 名专家用户来自作者校内人机交互实验室工业设计专业的教师，年龄：M=32.100，SD=2.012；30 名工业设计专业学生为作者校内大二、大三在校生，年龄：M=20.865，SD=3.652，其中女性 18 名。在音效类别上，32 名用户经投票认为，按发声源属性类别来划分更符合现代产品主题。在具体类别的细分上，按得票数量的多少划分为电子警报类、机械音效类、空气音效类、液体音效类 4 大类（簇），记为。1tsXR其中，S=1,2,150 为音效资源序号，t=1,2,3,4 为音效所属类别。1.2 特征参数式 近年来，各种传感器技术和算法被用于检测声音事件与发生场景的分类。如在 Dcase2020 挑战赛中，Task3 就是音频事件检测和定位，要求在 10 h 的音频数据集中检测出包括警报、婴儿哭啼等 14 个声音类别。研究人员相继开发出的各种算法最优模型中，包括随机森林（RF）模型、图神经网络（GNN）模型，这几种模型都结合了音频的特征信息。为了克服音频特征提取方法上的鲁棒性等问题，论文采用了基于听觉谱的矩特征向量法10。该方法不仅抗干扰能力强，其原理更符合人耳对音效的处理过程，相关的音频特征参数分布如下：1argmax()iftP(1)2/iifitffPP(2)第 44 卷 第 8 期 张扬，等：产品声音的交互式聚类设计研究 117 23/iifitfPP(3)334()/BiifitffPP(4)445()/BiifitffPP(5)ifiPP(6)其中，1t5t分别表示听觉谱的最大幅值频率、中心位置、中心均方根的带宽、中心的谱三阶中心距及谱四阶中心距，if和ifP分别为第i个等效矩形带宽率及对应的幅值。由于各音频特征参数之间存在较大的差异性，需要对其进行数据的归一化。至此，实验中的 150 种音效资源均可用一组数值在 01 的 5 维的向量来表示：Ts=t1,t2,t3,t4,t5(7)2 1,2,150ss XT(8)1.3 数据降维与可视化展示 高维的特征参数 X2一方面可以构建出更为准确的信息表达式，但同时也会增加计算负载和可视化难度。因此，采用神经网络算法对其进行降维处理，并联合感官描述式聚类数据 X1进行可视化展示11。相关算法思路如下。Step1：构建