上肢运动学特征与虚拟现实人机界面工效学优化研究_楼小龙.pdf

第 28 卷 第 2 期2023 年 4 月工业工程与管理Industrial Engineering and ManagementVol.28 No.2Apr.2023上肢运动学特征与虚拟现实人机界面工效学优化研究楼小龙1，2，鄢腊梅1，王强1，蒋琤琤1*（1.杭州电子科技大学 人文艺术与数字媒体学院，浙江 杭州 310018；2.北京航空航天大学 虚拟现实技术与系统国家重点实验室，北京 100191）摘要:为提高虚拟现实（VR）场景下自然手势交互界面的操作效率、准确性和舒适性，对不同目标方位和手臂姿势下的操作任务完成绩效和感知疲劳度展开了实证对比研究。通过一个VR场景下的“目标选取”交互实验，从任务完成时间、准确率、手臂感知疲劳度等主客观角度测试，并对比分析了不同目标方位和手臂姿势变量下的任务完成数据和疲劳度测评结果。实验发现：顺手侧操作空间中的任务完成效率和准确性显著优于逆手侧，且后者产生的感知疲劳更为明显；相比肩部以上空间内的手势操作，肩部以下空间内的手势交互时间效率和准确性更佳。关键词:虚拟现实；自然交互用户界面；手势交互；感知疲劳；工效学评估中图分类号:TB 18 文献标识码:AArms Kinematic Characteristics and Ergonomic Guidelines for Optimizing User Interfaces in Virtual RealityLOU Xiaolong1，2，YAN Lamei1，WANG Qiang1，JIANG Chengcheng1*（1.School of Media and Design，Hangzhou Dianzi University，Hangzhou，Zhejiang 310018，China；2.State Key Laboratory of VR Technology and System，Beihang University，Beijing 100191，China）Abstract:In order to improve the user interaction efficiency，accuracy and user comfort of the natural hand interactive interface in virtual reality（VR）scenes，an empirically comparative evaluation on the natural hand interaction performance and user perceived fatigue level was conducted in performing different arm postures at diverse target positions.The evaluation was completed through a target selection experiment，in which both the subjective and objective results were measured，including the task completion time，target selection accuracy and the user perceived arm fatigue.The results were also compared in different conditions of the target position and the arm postures.The results show that natural hand interaction in spaces at the same side of the hand is more efficient and accurate than in spaces at the converse side.The former is also found to be more comfortable with fewer perceived arm fatigue.Hand interaction at the height lower than the shoulders is also found to be more efficient，accurate and labor-saving than that at higher positions.文章编号：1007-5429（2023）02-0207-08DOI：10.19495/ki.1007-5429.2023.02.022收稿日期：2021-06-17基金项目：国家自然科学基金（61902097）;浙江省自然科学基金（LQ19F020010）;浙江省哲学社会规划课题（19NDQN301YB）;虚拟现实技术与系统国家重点实验室开放课题（VRLAB2020B03）作者简介：楼小龙（1988），浙江义乌人，讲师，博士，主要研究方向为自然人机交互、感知计算与用户体验设计。E-mail：。*通信作者：蒋琤琤，副教授，博士，主要研究方向为人因工效与数字媒体艺术。E-mail：。-207第 28 卷 楼小龙，等：上肢运动学特征与虚拟现实人机界面工效学优化研究Key words:virtual reality;natural interactive user interface;hand interaction;perceived fatigue;ergonomics evaluation1 引言 近年来VR技术的快速发展使其逐渐渗透到数字娱乐、教育、军事、医疗等领域的实际应用1。在基于 Oculus Rift、HTC VIVE 等硬件设备的 VR 应用中，用户通过自然表现的手势动作与三维虚拟视景中的元素进行交互。按照操作媒介的不同，自然手势交互分为可触控交互和裸手交互两类2-3。前者是指用户通过Wii Remote控制器、Oculus手柄等设备实现基于硬件媒介的手势交互；后者是指通过Kinect、Leap Motion等计算机视觉技术实现手势动作检测与追踪，进而实现非接触式的自然手势交互4。无论是上述哪一种技术实现方案，系统都是将用户的手部移动转换为VR场景中的虚拟手或指针位移。因此，手臂移动距离、角度范围、动作精度等手臂运动特征都与自然手势交互结果有密切关系。而在当前针对VR场景的手势交互界面中普遍缺少对用户手臂动作特征的考虑。在当前的VR用户界面中，交互元素布局普遍采用以视线为中心的用户界面（UI）设计原则5。在该设计原则中通常以用户的眼睛和头部作为中心，并将界面内容参照中心坐标进行布局，使用户在界面中的视觉感知处理获得最佳的效果。但是，对于用户在界面中的自然手势交互结果和操作舒适性等方面的考虑却十分欠缺，导致VR自然手势交互应用中存在效率与精确性差、操作舒适性不佳等问题2，6-7。针对上述普遍存在的可用性问题，国内外学者相继提出了各种技术补偿与优化方案。LUBOS等8提出了一种基于手势关节位置实时检测的响应式界面布局技术。该技术通过计算机视觉技术实现手势关节点位置检测，继而将界面元素定位于关节四周以实现更高效、准确的自然手势交互。VOGEL和BALAKRISHNAN9采用一种高精度的运动追踪系统Vicon system，来实现更加精确的自然手势交互。HAQUE等10则采用手臂表皮肌电检测技术来完成手指的细微动作识别，进而实现精确的自然手势交互。MKEL等11提出一种名为“磁性指针”的软件技术来优化界面交互中的目标选取操作。在该技术中，系统为界面中的元素增加“磁性”特征，当手势指针靠近目标时被自动吸附到目标上，以此降低目标选择的难度。以上方案是从技术实现的角度提供自然手势交互的优化途径，在应用开发成本和场景适应性方面存在局限性。从自然手势交互的动作特征和人因工效分析出发，构建手势交互界面布局规范，对解决自然手势交互中存在的可用性问题具有更普适的指导意义，但是相关研究相对欠缺。在工效学研究中普遍将“费兹定律（Fitts Law）”12作为人机交互效率的评估模型。在该评估模 型 中 一 般 将 目 标 选 择 操 作 的 完 成 时 间（movement time，MT）作为效率评估指标，MT指标的计算表达式可表示为一个关于目标尺寸（W）和移动距离（D）的对数表达式：MT=a+blog2()DW+1（1）其中：log2()DW+1指的是交互难度系数（index of difficulty，ID），a和b是两个基于特定的交互技术和交互环境得到的恒定常量。除了时间效率外，人机作业中的准确性也是工效学评估中的一个重要方面，通常将任务过程中的错误率（error rate，ER）统计作为人机交互准确性的一个衡量指标。在目标选择操作中，ER是通过统计所有操作中发生选择错误的次数来计算。用户在人机作业中的感知疲劳度则可以采用“Borg主观疲劳度评估量表”13进行打分测量。该量表采用15点李克特式打分方式进行测量，分值范围6分20分，6分对应“极度轻松”，20分对应“精疲力竭”两个极端描述，其间不同的分值则对应“很轻松”“一般轻松”“有点吃力”“很吃力”“一般吃力”等描述，分值越高对应的疲劳程度越显著。2 方法 实验通过一个VR场景下“目标选取”（选择与点击）的交互任务来评估自然手势动作特征、不同手臂姿势下的交互效率和准确性以及手臂的感知疲劳程度。按照人体上肢运动学结构与特征14，手臂的运动以肩关节为圆心，局限于以臂展长度为半径的球形区域内，而且由于肩关节转动角度局限在上下、左右约200范围内，手臂对于身体后面的大部分空间无法触及。基于文献 7-8 的研究经验，在不同操作角度和手臂姿势下的肌群受力有所差异，而不-208第 2期工 业 工 程 与 管 理同的肌肉群控制不同程度的动作精度。因此，本研究提出以下研究假设：不同操作位置和手臂姿势下的手势交互效率、精准度以及肌肉疲劳感知存在显著差异。2.1被试为了兼顾实验任务的完成效率和样本测量数据的代表性，从实验人员所在大学园区随机招募24名大学生与教师作为实验被试，包括14名男性和10名女性，年龄分布为2033岁（25.6岁3.5岁）。在正式实验前，通过一个 400人的问卷测试发现，24名被试与所在群体在关于“自然手势交互应用经验”和“VR应用操作知识”的总体水平中并无显著差异（p0.05），实验样本选择具有代表性。以上24名被试裸眼视力或者矫正视力在5.0以上，均无身体运动缺陷。通过 VR 头显设备的校准测量装置测得上述被试的眼间距数值分布为 6.80厘米7.70厘米（7.30厘米0.46厘米）。通过软尺测得所有被试的手臂长度（从肩关节到腕关节）数值分布为65.80厘米72.40厘米（68.60厘米2.93厘米）。基于上述差异，在每名被试进行实验时，对VR设备和程序进行微调以消除双目间距差异和人体尺寸差异对实验结果的影响。2.2仪器设备实验在一个多媒体实验室中进行，实验设备包括一台图形工作站主机（Win10 系统，64 G 内存，4.0 HZ Intel 32核处理器）、一台40寸显示器（用于监视VR实验场景）以及一套Oculus Rift头戴显示设备。该头戴设备通过两根4米长的数据线与主机连接，设备横向视野角度大约为100，左右眼分辨率分别为 9601 080。实验中通过一台 ASUS Xtion深度摄像头实现手势动作识别与追踪。深度摄像头被固定在显示器正上方并与主机和Oculus设备连接。在深度摄像头正前方 2米处固定有一个椅子，所有被试者要求坐在椅子上完成实验任务。实验装置与场景如图1所示。2.3实验程序与过程实验通过Xtion深度摄像头结合自然体态感知交互开源框架OpenNI15实现基于人体捕捉与骨骼追踪的自然手势交互技术。在程序实现中选取用户左右肩关节连线中心（胸关节点）作为参照系坐标原点，用户手掌中心相对于胸关节点的坐标值通过转换系数