基于视觉的三维重建专利技术分析_易建琼.pdf

河南科技Henan Science and Technology知识产权与专利导航总798期第4期2023年2月基于视觉的三维重建专利技术分析易建琼游婧（国家知识产权局专利局专利审查协作四川中心，四川成都，610213）摘要：【目的】基于视觉的三维重建是计算机领域的研究热点，从专利的角度出发对该技术进行分析，以期为相关产业的发展提供参考支撑。【方法】通过对基于视觉的三维重建技术领域的专利申请数量、主要申请人进行统计分析，梳理出该领域的主要技术演进路线，对典型专利技术方案进行分析。【结果】基于视觉的三维重建技术的发展充分依赖于图像传感器技术和图像数据处理技术的发展。【结论】虽然在国内该项技术的起步较晚，但是发展迅速，所应用的领域广泛，在未来一段时间内仍将处于高速发展阶段。关键词：视觉；三维重建；专利分析中图分类号：G255.53；TP391.41文献标志码：A文章编号：1003-5168（2023）04-0142-04DOI：10.19968/ki.hnkj.1003-5168.2023.04.029Patent Analysis of Vision-Based 3D Reconstruction TechnologyYI Jianqiong YOU Jing（Patent Examination Cooperation Sichuan Center of the Patent Office,CNIPA,Chengdu 610213，China）Abstract:Purposes Vision-based 3D reconstruction is a hot research topic in the computer field.Thearticle analyzes the technology from the perspective of patents,in order to provide reference support forthe development of related industries.Methods The article analyzes the number of patent applicationsand main applicants in the field of vision-based 3D reconstruction technology,sorts out the main technical evolution routes in this field,and analyzes the typical patent technical solutions.Findings The development of vision-based 3D reconstruction technology fully depends on the development of image sensor technology and image data processing technology.Conclusions Although the technology started latein China,it is developing rapidly and widely used in the field,and will still be in a rapid developmentstage in the future.Keywords:vision;3D reconstruction;patent analysis0引言基于视觉的三维重建技术是计算机信息处理领域中的研究热点，是运用电子仪器设备捕获待重建物体的图像数据信息，然后对捕获的图像数据信息进行处理分析，再利用三维重建的相关技术重建出待测物体的三维表面轮廓等信息。基于视觉的三维重建技术由于高速度、高精度等优势，在医学成像、工业测量、三维打印、自动驾驶等领域都得到了广泛应用，是工业发展的重要研究趋势。依据数据获取方式的不同，计算机测量分为接触式和非接触式，仅非触式测量属于基于计算机视觉的测量。收稿日期：2022-10-26作者简介：易建琼（1986），女，硕士，助理研究员，研究方向：计算机辅助设计与图像处理专利实质审查；游婧（1988），女，硕士，研究实习员，研究方向：计算机辅助设计与图像处理专利实质审查（等同于第一作者）。第4期143依据是否投射光源进行测量，非接触式方法又分为主动式和被动式。主动式需要向待测场景中投射光源，再通过计算提取光源在场景中的投影信息来检测待测物体的位置并进行测量。被动式没有额外光源，直接捕获待测物体表面反射的环境光，从一个或多个相机获取的二维图像中计算待测物体的三维信息1-5。1专利申请数量态势分析三维重建技术在过去几十年的发展中,获得了非常大的进步。20世纪70年代，Roberts首先提出了使用计算机视觉的方法从二维图像获取物体三维信息的可能性，自此之后，基于视觉的三维重建技术如雨后春笋般涌现出了许多实现的技术手段。从20世纪80年代开始，出现了为数不多的国外专利申请，从图1可以看出，2008年以前全球专利申请数量都处于缓步发展的阶段，随着基于视觉的三维重建技术的不断创新，自2011年开始逐步上升，直到2016年进入快速增长阶段。2主要申请人分析图2所示为国外排名靠前的主要申请人，由图2可知，排名靠前的主要为美、欧、德、日、韩的知名企业，不可否认，它们在该领域具有强大的研发能力，一方面与计算机视觉理论与相关技术的发展在欧美国家起步较早有关，另一方面，索尼、佳能、三星、松下等日韩企业，在拍摄设备的技术研究方面底蕴深厚，容易将其技术优势与计算机视觉融合，从而早早位于世界先进地位。其中，排名第一的是德国的西门子公司，其次还包括佳能、松下、三星、通用电气、日立、索尼、东芝、微软、奥林巴斯等。图3所示为国内排名靠前的主要申请人，主要以高校及研究所居多，还有一些知名企业，在全球专利申请数量上占据明显优势。这说明国内在基于计算机视觉的三维重建技术研究中并没有落后，但在科技转化成果方面还处于待强化的状态。其中，清华大学研究团队的申请数量最高；浙江大学、四川大学、北京航空航天大学、华中科技大学等也是名列前茅；中国科学院自动化研究所在该项技术中也具有一定的研发实力，具有较强的知识产权意识；国内企业申请分布较为零散，位居前列的有百度网讯科技和腾讯科技等。3技术演进路线基于视觉的三维重建技术依据测量方式主要分为主动视觉法和被动视觉法，下面将从这两个方面对其技术演技路线及典型专利技术进行介绍。3.1基于主动视觉的三维重建技术主动视觉法包括激光扫描法、结构光法、阴影法、TOF技术、雷达技术、Kinect技术等。20世纪60年代，欧美国家开始对三维测量技术进行研究。20世纪80年代，已经出现了较为成熟的技术。1981年，西门子股份公司的专利申请DE3147129A，公开了一种用于检测三维物体的光学传感器和相应的测量方法，在传统的三角测量方法之上，通过激光扫描用于检测三维物体。该方法基于多个位置敏感的检测器，同时从各个方向检测3D对象上的光点的位置，并将其应用的可能性扩展到对象的几乎任何属性，并且通过位置敏感探测图1专利申请数量态势图图2国外主要申请人图3国内主要申请人易建琼，等.基于视觉的三维重建专利技术分析6005004003002001000专利申请数量/件2000200120022003200420052006200720082009201020112012201320142015201620172018201920202021专利数量国外主要申请人西门子公司佳能株式会社松下公司三星集团通用电气公司株式会社日立制作所索尼（SONY）东芝株式会社微软公司奥林巴斯株式会社清华大学浙江大学四川大学北京航空航天大学华中科技大学西安电子科技大学电子科技大学中国科学院自动化研究所西北工业大学上海交通大学北京百度网讯科技有限公司腾讯科技专利数量国内主要申请人年份144第4期器的强度输出不断重新调整激光的强度，以便使探测 器 始 终 连 续 接 收 到 较 高 的 强 度。2001 年，WO2001067039A1 公布了一种基于结构光的动物三维测量系统，系统使用来自结构光相机的光点来测量动物上的多个点，定位每个点的垂直、水平和深度尺寸，通过使用该数据测量组合投射在动物上的一些光点来提供动物的快速连续三维运动图像。2005年，皇家飞利浦电子股份有限公司提出专利申请WO2006109203A1，在飞行时间正电子发射断层扫描（TOF-PET）成像方法中，获取三维飞行时间响应线（TOF-LOR）数据。在飞行时间空间定位的基础上将 TOF-LOR 数据按层排在多个二维TOF-LOR 数据集中。层排的 TOF-LOR 数据中的至少一些对应于对于二维数据集是斜的反应线。将TOF-LOR数据粗疏角重排到多个粗疏角仓中，每个仓具有至少约10的角跨距。对粗疏角排列的TOF-LOR数据进行重建，以产生图像层，该方法提高了重建速度和精度。2013年，微软公司提交了专利申请WO2015057535A1，提出了一种飞行时间三维TOF-3D照相机。MARZOLI MARCELLO 提 出 的 专 利 申 请WO2005008283A1，公开了一种应用于内窥镜设备中的三维重建方法，该方法通过检测装置检测一组点并且能够为每个检测到的点提供一组信息，包括扫描信号的瞄准方向、扫描头和该点之间的距离，以及由所述点反射的信号的强度，实现基于激光雷达的插入腔体扫描头与其内表面之间相对距离的检测，以及识别相同表面的一些物理参数来产生被检查腔体的内表面的三维图。自2009年Kinect诞生开始，基于 Kinect 的三维场景的创建就迅速发展。微软公司于2013年提出的专利申请US20130095920A1进一步优化了三维重建方法，该方法包括使用有源IR立体模块来计算场景的深度图。可以通过将IR点图案投影到场景上，从两个或更多个同步的IR相机中的每一个捕获立体图像，检测立体图像内的点，计算与立体图像中的点相对应的特征描述符，计算立体图像之间的视差图，以及使用视差图生成深度图来计算深度图，优化三维场景创建方法。3.2基于被动视觉的三维重建技术被动视觉法根据摄像机数目的不同分为单目视觉法、双目视觉法和多目视觉法；根据原理不同可以分为区域视觉法、特征视觉法等；根据应用方法可以分为运动恢复结构法和机器学习法等。上述这些分类又可以相互组合在一起。1999年，COMPUTERIZED MED SYST INC提出专利申请 EP0965104A1，公开了一种自动分割/自动轮廓绘制方法，其可用于快速且准确地绘制区域和区域周围的边界的轮廓，以形成可线性布置以用于图像的三维重建的横截面。2008年，清华大学提出申请CN101271582A，涉及基于多视角二维图像并结合 SIFT算法的三维重建方法，利用特征区域优化重建模型，实现低复杂度高质量的三维重建。2014 年，中山大学提出的申请 JP2017503290A，公开了一种无特征提取密集的运动恢复结构的三维重建方法，通过进一步优化实现紧致三维信息的估计，以目标函数值作为指标，能够得到最优解，至少是局部最优解，完成密集SFM三维重建。2018年，中国科学院自动化研究所提出申请 CN109191564A，以统计学习为基础，训练得到光子传播的前向以及逆向过程，提高了生物激发荧光计算机断层扫描三维重建的精度以及速度。佳能株式会社提出的专利申请US2020334855A1公开了一种信息处理设备及其控制方法，其提出了一种信息处理装置，可以实现从不能获得距离图像的相机（诸如 RGB相机或获得灰度图像的相机）获得高度准确的距离图像。3.3典型专利技术方案分析西门子股份公司提出的专利申请 DE3147129A，解决了现有技术中存在的由于不同的发射和接收方向造成的几何阴影问题。该申请采用预先设置多个位置敏感的检测器，物体利用光点成像到这些检测器上