2023年结合工程教育认证的3D人脸测量实验教学改革.docx

结合工程教育认证的3D人脸测量实验教学改革 肖琨　尤浩淼　李永建　朱新军 摘 要 以工程教育提倡的以学生为中心理念为思想，对计算机视觉中3D人脸视觉内容进行了实验教学改革。通常3D人脸识别数据采用网上公布的数据，而现有的Intel RealSense以及Kinect等3D传感器直接输出3D数据，因此学生对3D人脸数据获取的原理及方法并不很清楚。为更好的让学生理解3D人脸数据的产生，设计了3D人脸测量实验课程改革。学生通过实验课程可进行数据采集和三维重建算法设计以及实验分析，主动完成3D人脸重建的整个过程，同时通过实验培养学生的动手设计能力，团队协作与沟通交流能力以及实验平安、健康方面的意识。 关键词 工程教育认证 3D人脸测量 教学改革 计算机视觉 中图分类号：G424                                   文献标识码：A    DOI：10.16400/jki.kjdkx.2023.02.049 3D Face Measurement Experiments Teaching Curriculum Renovation with Engineering Education Accreditation XIAO Kun， YOU Haomiao， LI Yongjian， ZHU Xinjun 〔Tianjin Polytechnic University， School of Electrical Engineering and Automation， Tianjin 300387〕 Abstract With the student-centered idea in engineering education， the experimental teaching curriculum renovation of 3D face vision in machine vision is carried out. Usually， 3D face recognition data are published online， and existing 3D sensors such as Intel RealSense and Kinect directly output 3D data， therefore the students are not well clear about the principle and method of 3D data acquisition， and they do not well understand how 3D face data is generated， either. In order to help the students to better understand the generation of 3D data， a 3D face measurement experiment was designed. Through the experiment students can collect data， design the reconstruction algorithm and analyze the experiments to initiatively complete the whole process of 3D face reconstruction. At the same time， hands-on design ability， teamwork and communication skills， and experimental safety awareness for the students are developed. Keywords Engineering Education Accreditation; 3D face Measurement; teaching curriculum renovation; computer vision 0 引言 计算机视觉是一门软硬件相互结合、理论性和实践性都很强的学科，且具有理论性知识复杂的特点。[1，2]三维〔3D〕视觉是计算机视觉领域的重要内容之一。3D视觉在人脸识别、无人驾驶、机器人导航等领域备受瞩目。3D视觉相关理论与实验已成为计算机视觉课程中授课的重要内容。其中，3D人脸识别是3D视觉中具有代表性的教学案例。[3] 一方面，目前计算机视觉课程理论内容相对抽象，实验类别形式偏少;另一方面，工程教育认证对计算机视觉课程提出了新要求，比方团队协作的重要性、培养创新能力，培养考虑社会、健康、平安、法律、文化以及环境等因素意识等。[4]本文借鉴工程专业认证的以学生为中心的思想，在机器视觉中对3D视觉进行改革，以3D人脸测量为对象，提高学生对3D视觉方面的实验动手能力，学生通过实验主动进行数据采集，三维重建算法，更好的了解3D重建的整个过程，同时通过实验培养学生的动手设计能力，团队协作与沟通交流能力，以及实验平安方面的意识。 1 3D人脸测量教学改革的意义 目前已有标准的3D人脸数据库用于算法的验证与评估。然而，学生对3D人脸数据是如何产生，如何搭建系统采集数据，以及如何从采集的数据进行三维重建并没有很好的理解。相关知识教学内容较少，使得学生对机器视觉的实际应用缺乏直观的认识和理解，不利于学生动手能力和创新能力的培养。 常用3D测量方法包括被动双目立体视觉、线/面结构光、光编码〔Light Coding〕、主动结构光双目立体视觉、时间飞行法。在3D人脸识别领域，苹果公司采用的是光编码3D测量技术，微软Kinect 2.0采用时间飞行法，Intel RealSense主要采用主动结构光双目立体视觉方法，雖然这些公司的设备都可用于3D人脸测量，但是这些产品都是封装好的，主要输出的是深度数据。[5]条纹投影结构光测量通常具有较好的灵活性，因此本文采用结构光测量方法设计3D人脸采集系统，进行三维重建，从而使学生理解3D人脸数据是如何实现的。 2条纹投影结构光三维人脸测量 条纹投影结构光是光学三维形貌测量中具有代表性的方法。该方法将条纹图投影到被测物体的外表，条纹图由于物体外表的凹凸变化而发生变形，然后由摄像机获取一系列的变形条纹图，然后通过相位提取方法提取条纹图中的相位信息，最终联合系统标定参数计算出被测物外表形貌的三维点坐标。 在条纹投影三维测量中，CCD采集到的条纹图可表示为 〔1〕 其中为背景，和分别为调制局部和相位局部，为载频频率。从〔1〕获取相位是条纹投影三维测量的关键环节。[6]此环节也是本次教改涉及的内容之一。 投影仪处于垂直的位置，相机倾斜拍摄，且投影仪和相机处于同一水平面上，它们之间的距离记为，投影仪到参考平面的距离为，通过标定得到高度与相位的关系 〔2〕 其中为条纹周期。 3三维测量实验的改革 在课程开始时，首先由教师通过讲解，并展示实物，对学生的预习结果进行补充讲解，使学生充分了解条纹投影的根本知识，实验系统相关器件，学生自己动手，完成3D人脸采集与重建的整个过程。 3.1 学生动手搭建实验系统 实验过程以3人一组，通过分工协作，搭建实验系统。在数字条纹投影三维测量系统的实验中所需要的实验硬件器材主要有：计算机、CCD相机、DLP投影仪等。其中CCD相机和DLP投影仪连接在同一台上，并且DLP有一根输出脉冲线与CCD相机连接进行触发的操作。测量系统的示意图如1所示，投影仪触发信号如图2所示。 在相机控制软件界面中需要设置翻开触发模式，并且选择正确的触发通道。软件界面中翻开触发模式之后，按照条纹变换发出的脉冲的上升沿触发相机采集图片，到达实时的效果。投影仪采用的是TI DLP Light Crafter 4500。CCD相机为FLIR BFS-U3-13Y3M-C，分辨率为1280？024，像素尺寸是4.8 um，镜头是Computar镜头，16mm定焦。 测量过程中给出具体要求：投影仪投影条纹图要覆盖人脸区域，相机采集的图片也要包含整个人脸区域，但是又不能包含太多背景。学生分工调整相机与投影仪、以及二者与被测人脸的距离。另外为实现高质量的条纹投影图像采集，需要调节投影仪与相机的焦距，使得投影仪与相机投射的条纹都处于接近理想的聚焦位置。 图1测量系统的示意图 图2 投影仪输出触发脉冲图 3.2 学生自己程序分析数据进行三维重建 采集到的条纹图如图3〔a〕所示，因此需要从3〔a〕重建出三维数据。其中相位提取与相位展开是关键〔对应求方程〔1〕〕，在得到展开后的相位通过标定可转化成深度数据〔对应方程〔2〕〕。处理的关键环节有去条纹图背景〔图3〔b〕〕，二值化〔图3〔c〕〕，包裹相位提取〔图3〔d〕〕与相位解包裹〔图3〔e〕〕。 图3〔a〕 图3〔b〕 图3〔c〕 图3 〔d〕 图3〔e〕 图3 条纹图三维人脸重建结果展示 实现三维重建过程需要用Fourier变换、图像二值化、数学形态学图像处理等数字图像处理知识，学生可通过Matlab或者OpenCV等语言工具实现相应的数字图像处理算法，完成3D人脸重建。 3.3 学生对实验数据分析与实验的总结 学生自己进行实验与处理，研究测量系统参数对实验结果的影响，分析算法对三维重建精度的影响等，以及分析各个环节误差产生的原因，得到有效的结论。总结与分析过程中，每组同学积极参与讨论，共同协作，并能够在设计环节中通过创新解决问题。 在实验采集人脸数据过程中，学生应注意眼睛不要直视投影仪光心，防止投影仪发出的光对眼睛产生伤害。学生可闭上眼睛或者视线避开投影仪光心方向。通过此方面的平安教育，培养学生考虑社会、健康、平安、法律、文化以及环境等因素意识和素养。 4总结 以工程教育认证中的以学生为中心作为出发点，设计了学生动手搭建实验，编写程序，分析数据总结经验等教学环节，实现了完整的3D人脸数据重建教学内容。与传统的教学方法相比，课程改革以学生为中心，发挥学生实验主动性，让学生更好的理解3D人脸数据的产生，同时培养学生在3D视觉测量方面的动手能力，激发学生课程兴趣，使得学生对知识的理解、掌握更加深入，同时培养工程专业认证所提倡的团队协作与沟通交流能力以及健康、平安等方面的意识。 x通讯朱新军 感谢天津工业大学2023，2023級大学生创新创业训练方案资助工程〔202310058053，202310058151〕，天津工业大学研究生课程优秀教材建设工程〔机器视觉优秀教材建设〕及天津市自然科学基金工程〔18JCQNJC71100〕的支持 参考文献 [1] 宋丽梅，董虓霄，张春波，安宏伟.一种新型机器视觉教学系统的应用[J].现代教育技术，2023.6：126-128. [2] 孙涵，陈松灿，刘宁钟，黄元元，朱旗.研究生模式分析与视觉处理课程群改革与实现[J].科教导刊〔中旬刊〕，2023.3：30-32. [3] 朱新军，宋丽梅，王红一，郭庆华，李金义.以Fourier变换轮廓术3D测量为例的“机器视觉〞课程改革探索[J].科教导刊〔中旬刊〕，2023.33：114-116. [4] 李志义.适应认证要求推进工程教育教学改革[J].中国大学教学，2023.6：9-16. [5] 韩九强.机器视觉技术及应用[M].北京：高等教育出版社，2023. [6] 黄燕钧，李中伟，史玉升，等.基于多频外差原理的三维测量技术.新技术新工艺，2023〔12〕.