基于差分算法和Kinect的数媒交互系统设计_彭丽娟.pdf

收稿日期:2022-12-26基金项目:西安航空职业技术学院 2020 年度科研计划人文社科项目(20XHSK-04)作者简介:彭丽娟(1984-),女,河北高阳人,西安航空职业技术学院讲师,硕士研究生,研究方向为新媒体研究、高校新闻宣传研究。基于差分算法和 Kinect 的数媒交互系统设计彭丽娟(西安航空职业技术学院,西安 710089)摘 要:为了有效实现数媒交互,提升三维模型重建速度、精度及数媒交互效果,设计了一种基于差分算法和 Ki-nect 的数媒交互系统。首先读取、转换与存储不同格式的图像数据,利用视觉表达灵敏度差分算法预处理图像数据,利用面绘制技术重建三维模型,再使用 Kinect 采集视野内物体深度值,选取与 Kinect 距离最近的用户当作第一操作用户,通过骨骼追踪数据捕捉用户姿势,定义骨骼数据,编辑动作指令,依据键盘映射完成 Unity3D 和 Kinect 的数据通讯,实现数媒交互。实验证明:设计系统的三维模型重建速度快、重建精度高,数媒交互展示效果更好。关键词:视觉传播;数媒交互系统;图像解析;图像预处理;可视化;体感交互 中图分类号:TP391 文献标识码:A DOI 编码:10.14016/ki.1001-9227.2023.01.184Design of Digital Media Interaction System Based on Differential Algorithm and KinectPENG Lijuan(Xian Aeronautical Polytechnic,Xian 710089,China)Abstract:In order to effectively realize digital media interaction and improve the speed,accuracy and digital media inter-action effect of 3D model reconstruction,this paper designs a digital media interaction system based on difference algorithm and Kinect.First,read,convert and store image data in different formats,preprocess the image data using visual expression sensitivity difference algorithm,reconstruct the 3D model using surface rendering technology,then use Kinect to collect the depth value of objects in the field of vision,select the user closest to Kinect as the first operating user,capture the users pos-ture through bone tracking data,define bone data,and edit action instructions,Complete data communication between Uni-ty3D and Kinect according to keyboard mapping,and realize data media interaction.The experiment proves that the 3D model reconstruction of the design system is fast and accurate,and the digital media interactive display effect is better.Key words:visual communication;digital media interaction system;image analysis;image preprocessing;visualization;somatosensory interaction0 引言获取深度数据是指利用 Kinect 采集视野范围中物体的深度值,判断物体与 Kinect 间的距离,选取与 Kinect距离最近的用户当作第一操作用户,骨骼追踪数据负责捕捉用户姿势并定义采集的骨骼数据,编辑动作指令,触发键盘功能,完成数媒交互1-2。数字媒体语境的基础是数字技术,利用二进制法接受、处理与传播信息等1。因为数字媒体的应用范围不断扩展,所以数媒交互的研究显得格外重要。数媒交互研究的是媒体和用户间的彼此关联,人机交互学属于数媒交互研究的理论基础2。根据分析用户的需求,制定规范的定位,既可以满足用户体验的需求方式,又能通过艺术设计的美感给用户带来视觉震撼,增强用户体验的愉悦感受,这就是交互设计的目标3-4。方新国等设计了一种基于 Leap Motion 的手势交互系统5,以 Leap Motion 技术为基础,通过交互信息模块、手势交互意图推理模块、交互行为的执行模块与交互信息的集成模块实现人机交互;于宁波等设计了一种基于共享控制的人机灵巧力触觉交互系统6,利用人机触觉交互共享控制算法融合人的智能决策以及灵巧操作优点和目标机器人的自主算法,通过人手操作与机器人自主算法共同操作目标机器人,实现场景逼真的视听觉与灵巧力触觉多模态人机交互。尽管以上学者在数媒交互研究方面取得了较大的进展,但数媒交互系统三维模型重建速度、精度及数媒交互效果仍然有待提升,为解决这一问题,设计了一种基于差分算法和Kinect 的数媒交互系统,以期进一步提升数媒交互的展示效果,为用户带来更好的身临其境的体验。1 基于差分算法和 Kinect 的数媒交互系统1.1 数媒交互系统的总体框架基于差分算法和 Kinect 的数媒交互系统包含四个模块,分别是图像解析模块、图像预处理模块、三维可视481基于差分算法和 Kinect 的数媒交互系统设计 彭丽娟化模块与数媒交互模块。基于差分算法和 Kinect 的数媒交互系统如图 1 所示。图像解析模块负责读取不同格式的原始图像;图像预处理模块是利用视觉表达灵敏度差分算法预处理原始图像数据;三维可视化模块是利用面绘制技术,依据预处理后的图像数据重建三维模型,通过结合 Unity3D 技术和体感交互设备 Kinect,实现数媒交互7-9。图 1 基于差分算法和 Kinect 的数媒交互系统框架1.2 图像解析模块图像解析模块负责读取、转换与存储不同格式的图像数据,通过 Microsoft Visual C+开发工具与 VTK(Vi-sualization Toolkit,视觉化工具函式库)三维可视化工具包为三维图像重建模块提供接口,图像信息通过 VTK 数据流形式变更为图形数据。利用 Microsoft Visual C+开发工具与 VTK 三维可视化工具包接口实现图像数据导入处理,依据 FSL 总线连接的硬件接口结构如图 2 所示。MicroBlaze 软核中存在 32 位通用寄存器与 32 位特殊寄存器,PC 指针和 MSR(Model Specific Register)状态标志寄存器属于特殊寄存器。MicroBlaze 软核存在很多性能优点,包括较少的资源占用率、高效的运行速度与点对点的电项传递数据功能等;MicroBlaze 微处理器的每个接口相当于通信通道并且能够直接连接 FSL 总线。图 2 系统硬件接口结构1.3 视觉表达灵敏度差分法利用视觉表达灵敏度差分法预处理原始图像数据,对扫描信息实施有效的计算,计算公式如下:x-x1()+x=-fa1x-x1()+b1y-y1()+c1z-z1()a3x-x2()+b2y-y2()+c3z-z2()()(1)式中,有效性由 f(x)代表,通常情况下,有效性属于一个范围值;扫描图像数据的长的数字化是 x;扫描图像数据的宽的数字化是 y;扫描图像数据的高的数字化是 z。经过有效性的计算可稳定分析扫描数据,转换稳定后的扫描数据,转换公式如下:y-y0()+y=-fa2x-x1()+b2y-y1()+c2z-z1()a3x-x2()+b2y-y2()+c3z-z2()()(2)式中,有效数据的转换值为 a、b、c。通过式(2)转换后,能够直接运算原始图像数据的匹配效应。各个原始图像数据均存在一个指定的视觉表达匹配值,匹配值表示与原始图像相应的属性特征,原始图像属性特征系数公式如下:X=X r2k1+r4k2()+r2+2x2()P1+2xyBY=Y r2k1+r4k2()+r2+2x2()P2+2xyB(3)式中,整合系数是 r;属性提取系数是 k;调配函数是 P;换阶函数是 B。选取属性后需要实施搭配换算,利于定位像素,图像属性搭配换算公式如下:L X,Y()=2I x,x1()-I y,y1()-I X,Y()F X,Y()=NX=1J+NY=J-NL X,Y()-L X,Y()()(4)式中,灵敏度的系数值是 L;搭配换算系数是 I;J 表示像素数量阈值,N 表示最大像素数量。根据限定条件,测定各个存在特定属性的像素值,测定结束,实施差分运算10,测定像素值公式如下:R i-j()=Nf x,y()f1x,y()MNf x,y()2 MNf1x,y()2(5)式中,数列统计数值是 M;经过差分运算能够获取各帧图像的像素值。利用差分运算填充像素,确保原始图像的真实效果,填充运算公式如下:p y(),q12mn=1p y(),q(6)在式(6)内加入式(4)与(5)后,得到:p y(),qC2mi=1wk y-xh2()(7)整理公式(7)获取公式如下:w=mn=1qp y()b x()-u(8)式中,调整参数是 p、q、u;和谐度是 m;和谐指数是 n;重构参数是 C;h 表示填充像素,b(x)表示区域像素,表示差分系数,经过填充整理获取有关区域像素和实际设计间的关系。确定帧频位置可以确保各帧图像位置的准确性,确定帧频位置的公式如下:wxyl=pxyzl,w=1,2,n(9)581自动化与仪器仪表2023 年第 1 期(总第 279 期)式中,区域坐标的长度值是 x;区域坐标的宽度值是 y;区域坐标的高度值是 z,区域坐标的调整值是 l,逻辑系数是 p;利用逻辑系数的转化调整帧频位置。逻辑系数 p 计算公式如下:p=ni=1b-b1()b1-b2()ni=1b-b1()2b1-b2()ni=1b1-b2()2(10)式中,图像数据是 b。图像坐标填充公式如下:ELBF,f1,f2()=12-1()2dx(11)式中,表示调整参数,表示差分系数。通过式(11)能够确保各个坐标均可实施一次系统估算,提取图像数据特征时,能够有效避免产生数据不稳定与不明显等问题11。1.4 数媒交互数媒交互子模块是通过结合 Unity3D 技术和体感交互设备 Kinect,实现数媒交互12-13,其主要功能包含深度图像数据的获取、人体识别、提取与 Kinect 距离最近用户骨骼追踪数据、手势动作的定义、手势识别与手势动作对应的键盘按键的映射,依据键盘映射完成 Uni-ty3D 和 Kinect 的数据通讯,实现体感动作控制 Unity3D内模型的动作14-15,体感交互设备 Kinect 的工作流程如图 3 所示。获取深度数据是指利用 Kinect 采集视野范围中物体的深度值,判断物体与 Kinect 间的距离,选取与 Kinect 距离最近的用户当作第一操作用户,骨骼追踪数据负责捕捉用户姿势并定义采集的骨骼数据,编辑动作指令,触发键盘功能,完成数媒交互。图 3 体感交互设备 Kinect 的工作流程图2 实验结果与分析以某省装饰设计公司为实验对象,将系统应用于该装饰设计公司,为用户提供家居设计的数媒交互体验,分析系统数媒交互的