面向复杂加工装备的功能聚合与作业手势交互设计_张富强.pdf

包 装 工 程 第 44 卷 第 12 期 60 PACKAGING ENGINEERING 2023 年 6 月 收稿日期：20230107 基金项目：国家重点研发计划（2021YFB3301702）；陕西省科技重大专项（2018zdzx01-01-01）作者简介：张富强（1984），男，博士，副教授，主要研究方向为面向人机交互的智能制造。通信作者：赵睿英（1985），女，博士，副教授，主要研究方向为工业机器人控制。面向复杂加工装备的功能聚合与作业手势交互设计 张富强a,b，曾夏a,b，白筠妍a,b，赵睿英a（长安大学 a.道路施工技术与装备教育部重点实验室 b.智能制造系统研究所，西安 710064）摘要：目的目的 为了解决当前复杂加工装备人机交互过程中存在手势和功能映射模糊、缺少规范等问题，研究将人机交互技术赋能复杂加工装备的智能化升级。方法方法 首先，采用谱系聚类法进行复杂加工装备的人机交互功能聚合，为手势映射提供基础；其次，基于手势交互定义原则对作业手势进行规范性定义，完成手势库的设计；最后，根据作业场景进行调整并完成人机交互功能与作业手势的映射。结果结果 通过聚类将 40 个子功能元聚合为 16 个二级功能和 4 个一级功能，依据手势定义规则设计出一套动、静态结合的混合手势库，实现了人机交互功能映射。结论结论 该研究为交互服务识别与计算提供基础的理论支持，可方便、自然地对复杂加工装备进行远程操作与监控。关键词：复杂加工装备；功能聚合；作业手势定义；交互合计 中图分类号：TH 165；TB472 文献标识码：A 文章编号：1001-3563(2023)12-0060-08 DOI：10.19554/ki.1001-3563.2023.12.006 Interaction Design of Function Aggregation and Operation Gesture for Complex Machining Equipment ZHANG Fu-qianga,b,ZENG Xiaa,b,BAI Jun-yana,b,ZHAO Rui-yinga(a.Key Laboratory of Road Construction Technology and Equipment of MOE b.Institute of Smart Manufacturing Systems Engineering,Changan University,Xian 710064,China)ABSTRACT:The work aims to empower the intelligent upgrading of complex machining equipment with hu-man-machine interaction technology,in order to solve the problems in the human-machine interaction process of complex machining equipment,such as blurred gesture and function mapping and lack of standards.Firstly,the hierarchical clus-tering method was used to aggregate the human-machine interaction functions of complex machining equipment,provid-ing a foundation for gesture mapping.Next,the definition of operation gestures was standardized based on mapping rules,and the gesture library was designed.Finally,the mapping between human-machine interaction functions and operation gestures was adjusted and completed according to the operation situation.By clustering,40 sub-functional elements were aggregated into 16 secondary functions and 4 primary functions,and a set of dynamic and static hybrid gesture library was designed based on gesture definition rules.This study provides basic theoretical support for interactive service recognition and computation,and can realize the convenient,natural and remote operation and monitoring of complex machining equipment.KEY WORDS:complex machining equipment;function aggregation;operation gesture definition;interaction design 工业 5.0 的提出及人工智能、虚拟现实、物联网等新兴技术快速发展，人本智造成为现代信息技术和先进制造业深度融合的焦点，更加强调以人为本的生产环境1-2。周济院士提到，面向新一代智能制造的 人信息物理系统 2.0（HCPS2.0）的关键核心技术包括人机协同与人机交互技术3。因此，面向复杂加工装备的数字化、网络化和智能化演变与发展需求，人机交互技术赋能复杂加工装备的智能化升级是当第 44 卷 第 12 期 张富强，等：面向复杂加工装备的功能聚合与作业手势交互设计 61 前的研究热点问题之一，将人们的使用意图转换为机器可以理解并执行具体操作的信息输入，从而配合完成人们的需求。现有人机交互过程缺乏针对性，对复杂加工装备运行过程中的各类功能分类不明晰，从而导致了手势交互定义与交互功能无法形成规范的映射关系，使人机交互的流畅性和效率受到一定的影响。当前，国内外关于复杂加工装备的人机交互功能聚类的直接文献较少，而复杂加工装备的模块化功能分析可为人机交互设计提供指导参考。产品模块化设计是将产品根据特定规则分解成多个功能模块，接着按照实际需求对分解完成的功能模块进行下一步应用，从而再迅速达到应用领域的目标要求4-5，如功能模块到结构模块的映射应用，可以快速构建出产品模型；功能模块到人机交互模块的映射，可以为人机交互的方式提供新思路。例如：Li 等6基于模糊聚类分析对数控机床的模块进行划分，并以 Matlab 为运行环境，形成了数控机床的动态聚类图。董庆伟等7基于产品设计结构理论对淬火机床功能部件进行分析，采用聚类分析法完成模块划分。高羡明等8提出了基于谱系聚类的模块划分方法，对数控机床完成模块划分并对其功能模块和结构模块进行关系映射。王鹏家等9结合层次分析法和谱系聚类法对数控机床进行模块化分析，采用 VB 编程语言和 Matlab 软件开发出一套辅助模块划分系统并证明其通用性及实用性。张海燕等10在变双曲圆弧齿线圆柱齿轮的专用机床模块化设计过程中，提出结合间隙统计和自组织神经网络映射的方法对其进行聚类研究。综上所述，目前的模块划分方法大多是自下向上、基于底层子功能元的聚类方法，然而对结构和功能复杂、功能元数量众多的设备进行模块划分时，上述方法存在处理过程复杂和计算量庞大等问题，人为进行的相关度分析导致结果主观因素占据过多，从而会造成结果存在差异。因此，对复杂加工装备进行模块化分析，采用层次分析法进行聚合，可以实现相关度分析客观化、计算过程自动化。1 面向复杂加工装备手势交互的实现流程 手势交互作为一种结合先进感知技术和计算机模式识别技术的新型交互方式，为实现人机交互的高效自然性提供了良好的选择。以复杂加工装备为研究对象，进行手势识别交互设计。首先需要对复杂加工装备的功能进行分解；其次根据不同的功能对交互手势库进行设计；最后对交互功能与作业手势进行映射，实现手势与功能之间高质量、不混淆对应。整体的实现流程如图 1 所示，其分为两大块，分别为复杂加工装备的功能分解和手势交互设计。在功能聚类层面，采用谱系聚类法对复杂加工装备进行模块化的分析，其中选用层次分析法确定各功能元属性之间的权重，从而构造距离矩阵，得到划分结果；在手势交互设计层面，根据手势定义规范对手势库进行设计，设计过程基于手势易于学习、安全有效、符合习惯、有包容性、交互反馈、系统引导性等特点。图 1 整体实现流程 Fig.1 Overall implementation process 2 复杂加工装备作业功能元的聚合方法 谱系聚类算法采用降维技术，更适用于高维数据聚类。由于复杂加工装备功能丰富、类别多样，使用谱聚类算法对其进行分析是合适的选择。同时，谱系聚类法可以计算出功能元素之间的相关矩阵，因此对解决复杂加工装备的功能聚类问题非常有效。面向复杂加工装备的功能模块划分方法流程，见图 2。图 2 复杂加工装备的功能模块划分流程 Fig.2 Functional module division process for complex machining equipment 2.1 基于谱系聚类法的功能元聚合 谱系聚类法是一种基于层次结构的聚类方法11-12。首先将复杂加工装备的功能元分解出来；其次计算各功能元之间的距离，将距离最相近（即最相似）的聚62 包 装 工 程 2023 年 6 月 合成一个小功能类；再将聚合的小功能类按其之间的相似性进行再聚合；最后随着各功能类之间相似性的逐渐减小，得到按相似性大小不同而聚合起来的一个谱系图，聚合步骤包括：对复杂加工装备的所有子功能进行分解，形成独立的子功能元；计算各个子功能元之间的相关性（通过层次分析法确定各相关准则指标的权重，从而计算出功能元之间的相关度）；计算各个功能元之间的相关矩阵和距离矩阵，对功能元进行聚合得到谱系聚类图，最终确定功能分类模块。2.2 基于层次分析法的权值计算 层次分析法通过专家等经验来判断各项准则指标的重要程度并且进行量化，确定各个准则指标的权重系数。首先通过对复杂加工装备的各个功能元相关性准则指标的重要性进行比较和判断，得到判断矩阵；其次计算判断矩阵的特征向量，并根据特征向量得到各个评价指标的权重值；最后对判断矩阵进行一致性检验，若其满足一致性要求，则可视为合理的，反之则需对判断矩阵进行相应修正，以确保得到合理的权重。具体的权重求解过程如下。2.2.1 确定判断矩阵 对每个层次中的因素，建立一个判断矩阵，该矩阵描述了每个因素对其他因素的重要性和影响力，通常采用一定的评分标准进行评价，其重要程度见表 1。表 1 重要程度标度 Tab.1 Scale of importance 标度 含义 1 表示两个因素相比，具有同样重要性 3 表示两个因素相比，一个因素比另一个因素稍微重要 5 表示两个因素相比，一个因素比另一个因素明显重要 7 表示两个因素相比，一个因素比另一个因素强烈重要 9 表示两个因素相比，一个因素比另一个因素极端重要 2、4、6、8 上述两相邻判断的中值 在进行赋值的过程中，通过此领域的研究人员和专家等来对各元素指标间的重要性进行比较和判断，并依据重要程度标度表给出具体标度，从而将得到问题客观化的结果。将n个元素进行两两对比判断，可以得到一个n阶的判断矩阵，表示如下：111212122212nnnnnnaaaaaaaaa|=|A(1)且应符合以下性质：1122011/ijnnjiijaaaaaa|=|=(2