面向空间机械臂遥操作的虚拟相机成像技术_谢宗武.pdf

哈尔滨工程大学学报 Journal of Harbin Engineering University ISSN 1006-7043,CN 23-1390/U 哈尔滨工程大学学报网络首发论文哈尔滨工程大学学报网络首发论文 题目：面向空间机械臂遥操作的虚拟相机成像技术 作者：谢宗武，马博宇，蒋再男，刘阳 收稿日期：2022-01-03 网络首发日期：2022-11-22 引用格式：谢宗武，马博宇，蒋再男，刘阳面向空间机械臂遥操作的虚拟相机成像技术J/OL哈尔滨工程大学学报.https:/ 网络首发网络首发：在编辑部工作流程中，稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶段。录用定稿指内容已经确定，且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期刊特定版式（包括网络呈现版式）排版后的稿件，可暂不确定出版年、卷、期和页码。整期汇编定稿指出版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合出版管理条例和期刊出版管理规定的有关规定；学术研究成果具有创新性、科学性和先进性，符合编辑部对刊文的录用要求，不存在学术不端行为及其他侵权行为；稿件内容应基本符合国家有关书刊编辑、出版的技术标准，正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。为确保录用定稿网络首发的严肃性，录用定稿一经发布，不得修改论文题目、作者、机构名称和学术内容，只可基于编辑规范进行少量文字的修改。出版确认出版确认：纸质期刊编辑部通过与中国学术期刊（光盘版）电子杂志社有限公司签约，在中国学术期刊（网络版）出版传播平台上创办与纸质期刊内容一致的网络版，以单篇或整期出版形式，在印刷出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为中国学术期刊（网络版）是国家新闻出版广电总局批准的网络连续型出版物（ISSN 2096-4188，CN 11-6037/Z），所以签约期刊的网络版上网络首发论文视为正式出版。哈 尔 滨 工 程 大 学 学 报 Journal of Harbin Engineering University 面向空间机械臂遥操作的虚拟相机成像技术 谢宗武,马博宇,蒋再男,刘阳（哈尔滨工业大学 机器人技术与系统国家重点实验室，黑龙江 哈尔滨 150001）摘 要：对于采用虚拟图形预测仿真克服天地不确定大时延的地面遥操作，为使任务专家准确监视、预测并遥控空间机械臂的运动，本文研究了 Open Inventor 软件开发包中虚拟相机的成像技术。首先分析了真实相机与虚拟相机的成像原理，推导了虚拟相机的透视投影和视口变换矩阵。然后依据二者的成像原理，对真实相机和虚拟相机的成像进行了一致性分析，并展开定量及定性验证。研究表明：基于 Open Inventor 开发包搭建的中国空间站及空间机械臂的仿真系统，可对空间机械臂的末端及肘部相机进行虚拟成像并准确模拟真实成像，为空间机械臂通过地面遥操作安全精准地完成在轨任务奠定了基础。关键词：空间机械臂；遥操作；虚拟相机；透视投影；一致性分析；相机标定；预测仿真；Open Inventor 开发包 Doi：10.11990/jheu.202201002 中图分类号：TP391.9 文献标识码：A Imaging of virtual camera for space manipulator teleoperation XIE Zongwu，MA Boyu，JIANG Zainan，LIU Yang(State Key Laboratory of Robotics and System,Harbin Institute of Technology,Harbin 150001,China)Abstract：Focusing on the ground teleoperation with virtual graphic prediction simulation to overcome the uncertain space-ground large time delay,imaging technology of virtual camera in Open Inventor is investigated in this paper to enable mission experts to accurately monitor,predict,and teleoperate the motion of the space manipulator.The imaging principles of the actual and virtual cameras are analyzed,and the perspective projection and viewport matrices of the virtual camera are derived.Besides,according to imaging principles of the actual and virtual cameras,their imaging consistency is analyzed,and quantitative and qualitative verifications are carried out.The research shows that the simulation system of the China Space Station and the space manipulator based on Open Inventor can conduct virtual imaging and accurately simulate actual imaging for the end and elbow cameras of the space manipulator,which lays a foundation for the space manipulator to perform on-orbit missions safely and accurately through ground teleoperation.Keywords：space manipulator；teleoperation；virtual camera；perspective projection；consistency analysis；camera calibration；predictive simulation；Open Inventor空间机械臂被视为人类手臂在太空的延伸，用以辅助和替代人类完成太空探索任务13，通常采用遥操作方式。遥操作是指操作者远程遥控机械臂完成在轨任务，分为航天员在轨遥操作和任务专家地面遥操作，而航天员在轨遥操作需耗费其大量宝贵的时间和精力，因此在大多数任务中，需采用任务专家地面遥操作45。天地间不确定大时延会严重影响地面遥操作的 收稿日期收稿日期：2022-01-03 基金项目基金项目：国家自然科学基金项目（91848202）；中国博士后科学基金特别资助项目（2021TQ0089）；机器人技术与系统国家重点实验室（哈尔滨工业大学）自主研究课题（SKLRS202106B）.作者简介作者简介：谢宗武,男,教授,博士生导师；蒋再男,男,研究员,博士生导师.通信作者：通信作者：蒋再男，E-mail:.稳定性。虚拟图形预测仿真技术可以为空间机械臂和实际工作环境在地面创建三维模型，基于当前状态和控制输入来预测时延后的系统状态并提供实时显示，任务专家根据模拟环境来执行地面遥操作，这可以有效地克服大时延的不利影响67。在虚拟图形预测仿真时，为确保空间机械臂安全并精准地完成在轨任务，在仿真系统中需利用虚拟相机准确模拟空间机械臂真实相机的成像，进而任务专家可以通过虚拟相机准确地监视、预测并遥控机械臂的运动8。虚拟相机与空间机械臂真实相机成像的一致性将确保其在轨任务的成功完成。Open Inventor 可以进行空间机械臂仿真系统的建模与交互，是一款面向对象和交互式的三维图形软件开发包9。在 Open Inventor 中根据真实相机网络首发时间：2022-11-22 17:06:39网络首发地址：https:/ 尔 滨 工 程 大 学 学 报 的位置在空间机械臂的模型上添加虚拟相机节点，并设置与真实相机相对应的参数，用此虚拟相机来模拟空间机械臂的真实相机所拍摄的图像。Open Inventor 基于 OpenGL 开发的图形系统，但二者的虚拟相机建模与参数设置仍有较大差别。张祖勋等10介绍了 OpenGL 虚拟相机的成像原理，方漪等11推导了 OpenGL 虚拟相机的透视投影变换矩阵。真实相机是利用光学成像的几何原理建立的线性针孔模型12，而虚拟相机模型是根据其近距、远距、宽高比、高度角等参数创建的视景体13，对比分析真实相机和虚拟相机的成像过程，可以看出二者的成像方式有很大不同14。唐黎明等15在理论上推导了真实相机与 OpenGL 虚拟相机之间的参数关系，但并未给出实验验证。苏国中等16对摄影测量中典型的静态单幅影像、立体像对的模拟以及运动目标的轨迹和姿态等进行了模拟。卢娜17设计了对机载摄像机拍摄的图像进行变换仿真的系统。赵汝明18建立了基于 OpenGL 的虚拟成像仿真平台，来生成仿真图像、分析处理成像结果。宋碧波等19利用OpenGL 对航空摄影测量获取的影像进行二次成像模拟。但以上研究均是基于 OpenGL 三维图形模型库开展的，由于 Open Inventor 创建复杂的三维场景更加便捷，因此有必要开展对 Open Inventor 虚拟相机的研究。本文基于真实相机与 Open Inventor 虚拟相机的成像原理，推导出二者参数之间的关系，在理论上进行一致性证明，又通过虚拟相机标定实验和真实场景成像实验定量及定性地验证二者的一致性。最后搭建了中国空间站及空间机械臂的仿真系统，对空间机械臂的末端相机和肘部相机进行虚拟成像。该研究用以辅助任务专家在地面遥操作时准确监视、预测并遥控空间机械臂的运动，以确保其在轨任务的成功完成。1 真实相机与 Open Inventor 虚拟相机成像分析 1.1 真实相机成像分析 真实相机采用针孔成像原理，成像过程涉及四个坐标系间的相互转换：世界坐标系、相机坐标系、图像坐标系和像素坐标系20，目的是将物体在世界坐标系中的三维坐标转换为在像素坐标系中的二维坐标，其数学模型为：0www0wwwc0012www1000000100000011100100010111001xxyyudXXXuffuYYYZvvffvZZZd RTRTM M00 (1)式中：f为相机焦距；xd、yd分别为像素在x、y方向上的像元尺寸；/xxffd、/yyffd分别为焦距在x、y方向上的像素数；00,u v为相机光轴与像平面交点的像素坐标，也称像主点坐标，通常为图像分辨率的一半。以上这些参数是相机的内参。R为物体的旋转矩阵；T为物体的平移矩阵，它们是相机的外参。,u v为物体成像后在像素坐标系中的二维坐标；www,XYZ为物体在世界坐标系中的三维坐标；cZ为比例因子；1M为内参矩阵；2M为外参矩阵，分别为：01000000010 xyfufvM (2)21RTM0 (3)1.2 Open Inventor 虚拟相机成像分析 1.2.1 虚拟相机成像过程 在 Open Inventor 中，节点是创建三维场景的最基本对象，包含光照模型、形状描述、材质种类、几何变换等重要的场景信息。对于虚拟相机，SoCamera 节点包含两个子节点，分别为透视投影相机节点 SoPerspectiveCamera 和正交投影相机节点 SoOrthographicCamera，透视投影相机可以模拟人眼或照相机观察物体“近大远小”的特点，其视景体为正四棱台；而正交投影相机观察物体则不会受到距离的影响，物体不会随着距离而产生扭曲变形，其视景体