基于计算机视觉的自动驾驶行人检测专利技术综述_李朋原.pdf

-20-热点研究Hot Research PATENT AGENCY专 利 代 理随着汽车电子化和高级辅助驾驶技术的快速发展，自动驾驶作为辅助驾驶技术的高级阶段，俨然成为未来解决交通出行的重要方式，已成为全球范围内一个新的技术研究热点和重点。汽车行业是一个特殊行业，涉及乘客及行人安全，任何事故都是不可接受的，所以对于安全性、可靠性有着近乎苛刻的要求。在自动驾驶领域，无人驾驶车辆必须具备通过车载传感器检测行人是否存在及其位置的能力，以实现进一步的决策。一旦检测错误则会造成伤亡，后果严重，所以对于行人检测的准确性要求极高。而行人检测这一核心技术受到很多因素的影响，如行人姿态*作者单位：国家知识产权局专利局电学发明审查部。基于计算机视觉的自动驾驶行人检测专利技术综述李朋原*摘要：行人检测技术是一种利用计算机视觉的手段，来判断图像中是否存在行人，并给出行人位置的检测技术。在自动驾驶中，行人检测主要是指对车载摄像设备获取的实时视频进行检测，通过获取行人的相关信息来辅助车辆自动行驶的相关技术。汽车行业对于行人检测的准确性要求极高，行人姿态变化、衣着打扮各异、遮挡问题、运动随机、室外天气光线因素变化等问题都会影响到行人检测技术的准确性乃至可行性，因此行人检测在自动驾驶中一直是一个研究热点和难点。本文介绍了行人检测的技术构成，针对自动驾驶中行人检测领域的专利进行了分析，介绍了行人检测的主要分类，统计并分析了相关专利在全球的申请时间、地域分布，并分析了关键的专利申请、技术发展脉络等，最后对自动驾驶中的行人检测未来可改进的方向进行简要阐述。关键词：自动驾驶；行人检测；深度学习；特征提取；图像分割；目标识别变化、衣着打扮各异、遮挡问题、运动随机、室外天气光线因素变化等，这些因素都会影响到行人检测技术的准确性乃至可行性。使用高精度的传感器有利于算法结果准确，但高精度的传感器非常昂贵（如激光雷达）。成本和精度无法兼得，这种矛盾在过去一直很难解决。使用廉价的摄像机获取图像，通过处理图像来检测到行人的位置以及运动趋势，从而取代雷达，压缩成本，该过程就是行人检测技术。自动驾驶中的行人检测使用搭载在车辆中的摄像设备来获得行车的图像数据，进而从图像或者序列当中测算出是否存在行人，同时给出精确的定位。行Hot Research热点研究-21-PATENT AGENCY专 利 代 理人检测面临的是一个开放的环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求，而实时性是系统必须满足的要求，因此系统的鲁棒性和实时性构成了一个矛盾。为了解决这种矛盾，现有的行人检测系统一般包括两个模块：图像分割和目标识别。图像分割的目的是从图像中提取可能包含行人的窗口区域作进一步验证，以避免穷尽搜索，提高系统的速度。目标识别是行人检测系统的核心，它对得到的分割区域进行验证，以判断其中是否包含行人，其性能决定了整个系统可以达到的精度和鲁棒性。传统的行人检测技术主要依赖于图像处理技术。近些年来，深度学习技术兴起，典型的如卷积神经网络目前广泛应用于各类图像处理中，非常适用于行人检测。深度学习技术带来的高准确性促进了无人驾驶车辆系统在行人检测等多个核心领域的发展。本文对自动驾驶中的行人检测相关专利技术文献进行了统计分析，并梳理了行人检测技术的主要发展脉络。一、专利态势分析本文在专利检索与服务系统（Patent Search and Service System，简称“S 系统”）中进行检索，以中国专利文摘数据库（CNABS）和外文虚拟文摘数据库（VEN）中的专利申请为基础进行数据筛选和数据分析。鉴于本文主要研究自动驾驶中行人检测技术的发展，主要采用关键词的方式检索得到，其中在CNABS 库中主要采用“自动驾驶”“智能驾驶”“无人驾驶”“行人检测”“行人识别”等关键词进行检索，在 VEN 数据库主要采用“person+or pedestrian+or human or people or individ+”等 表 示 行 人，采 用“detect+or predict+or identif+”等表示检测含义，采用“automatic driving or autonomous driving”等 表 示自动驾驶，检索截至 2021 年 12 月 31 日公开的专利申请，仅保留发明专利申请，并进行了专利去重、贾慧星，章毓晋.车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述 J.自动化学报，2007，33（1）：7.去噪。（一）申请趋势图 1 展示了近几年行人检测领域专利申请的趋势。从图中可以看到，在 2015 年之前，国内外的申请量均没有大幅增加，一直保持平稳的少量申请状态，2016 年开始申请量有了较大的增幅，2018 年开始国内的申请量实现了对国外申请的反超。在 2016年以前，行人检测技术主要依赖于提取图像的底层特征，并且自动驾驶领域其他相关技术也不够成熟，发展速度较慢，申请量维持在一个较为平稳的低量状态。2016 年以后，随着自动驾驶相关技术的不断完善，深度学习的方法也成功应用于行人检测等领域，带来了一股新的技术风潮，专利申请量逐渐攀升。图1 国内外申请趋势图（二）技术来源国/地区图 2 展示了自动驾驶行人检测领域申请人在全球范围内的地域分布情况。可以看到，申请量最高的区域是中、美、日，总共占据约 85%的申请量，其中，我国的申请量超过了全球的一半。这得益于我国众多车企、新兴车企在自动驾驶方面的积极投入，以及我国对高新产业的支持。美国拥有众多老牌车企，对自动驾驶的研究起步较早，也拥有接近全球四分之一的申请量。除此之外，专利五大国中的日、韩申请量也名列前茅。-22-热点研究Hot Research PATENT AGENCY专 利 代 理图2 全球申请人所属国家/地区分布图（三）主要申请人图 3 展示了自动驾驶行人检测领域排名前 10 的重要申请人，我国占据三位。其中百度合并了旗下子公司和分公司，由百度在线网络技术（北京）有限公司、百度（美国）有限责任公司、北京百度网讯科技有限公司、阿波罗智能技术（北京）有限公司、阿波罗智联（北京）科技有限公司合并而成位列榜首。排名靠前的企业单位依次为百度、伟摩 Waymo LLC，为 Alphabet（Google 母 公 司）旗下的子公司，美国、福特全球技术公司（美国）、新石器慧通（北京）科技有限公司、御眼视觉（MobileEye，以色列自动驾驶创业公司）、罗伯特 博世有限公司（Bosch，德国）、皇家飞利浦股份有限公司（英国）、起亚自动车株式会社（韩国）、现代自动车株式会社（韩国）、UATC LLC（Uber，美国）、华为技术有限公司、重庆长安汽车股份有限公司、宝马股份公司（德国）、丰田自动车株式会社（日本）。可以看出，全球前 10 位的重要申请人除吉林大学外，均属于头部车企（5 家）和近些年入局自动驾驶的新型车企和创业企业（4 家）。而吉林大学与百度等自动驾驶公司联系密切，也拥有多个自动驾驶测试实验室，是在自动驾驶投入众多科研力量的国内高校。在前 10 位之外，还有许多企业例如宝马、丰田、长安等紧随其后。总的来说，各国企业在行人检测领域的专利布局竞争非常激烈，呈现多元发展的态势。图3 全球部分重要申请人二、技术构成及典型专利行人检测的技术构成主要可以分为两个部分，即图像分割和目标识别。图像分割技术的目的是分割出整体图像中的感兴趣区（Regions of Interest），从而避免对整个图像进行识别，提高系统的检测速度。图像分割技术可以分为阈值分割法、边缘检测法以及语义分割三种分割方法。阈值分割法是使用图像灰度特征进行灰度计算，进而与阈值进行对比来完成分割。边缘检测则是寻找出图像的灰度、颜色、肌理等图像特点忽然改变的地方，从而将其作为图像边缘进行分割。语义分割则是利用卷积神经网络对复杂环境进行分割，分割的依据是有效的上下文消息。目标识别是行人检测中的核心技术，可以分为特征提取和分类器构造两大步骤。通过先验知识建立的底层特征提取配合分类器进行行人检测是传统的主流方案。特征提取的目的是降低数据的维数，得到能反映模式本质属性的特征，方便后面的分类；分类器设计的目的是得到一个计算复杂度较低，并且推广性较好的分类器。按照目标识别中提取的特征类型，可以将其分为两大类：一类是提取的特征为传统图像底层特征，例如颜色、纹理和梯度等基本的图像特征；Hot Research热点研究-23-PATENT AGENCY专 利 代 理另一类是由深度学习提取的特征，指的是通过机器学习的方法，从大量的行人样本中获取的行人特征表示。主流分类器的构造方法是基于统计分类的，主要可以分为两类，分别是基于支持向量机（Support Vector Machine，SVM）的方法和基于 Boosting 技术的方法。各个分类器都有其优缺点，在目前的行人检测技术中，没有一种绝对优秀的分类工具。使用线性函数的 SVM 模型的训练和预测时间较快，而 Boosting技术和训练时间则很长，准确性高。目前尚无统一的平台来验证到底哪个分类器性能最优。（一）基于底层特征提取的自动驾驶中的行人检测技术本小节主要讨论基于底层特征提取的行人检测。在众多应用于行人检测的底层特征中，最成功且主流的特征为 2005 年提出的方向梯度直方图（Histogram of Oriented Gradient，HOG）特征，其通过检测人的图形，得出人的水平和竖直的梯度幅值及像素点的梯度角。使用梯度幅值来对梯度角展开加权，勾勒出图像的局部梯度幅值以及相应的方向，再基于梯度特征对特征向量归一化。HOG 特征建立在密集的网络计算中，可以让不同的块相互重叠，所以对光照的偏移和位置的移动有很大的容差性，让行人检测中的鲁棒性得到很好的满足，可以很好地表现出人体的特征。2011 年的专利申请 CN102096803A 采用 ROI 阈值法进行图像分割，选择 HOG 特征作为底层特征。利用 SVM 分类器判断每一个区域的 HOG 特征是否可以匹配为行人样本 HOG 特征，是非常典型且主流的传统行人检测方式。2012 年的专利申请 CN102609686A 在 HOG、SVM 的基础上，对图像分割方法进行改进，提出了一种基于运动信息和形状先验的图割方法，降低了误检率。2014 年的专利申请 CN103886308A 则是聚焦于对分类器进行改进，使用聚合通道特征和软级联分类器获得了更好的分类效果。2019 年的专利申请 CN109886086A 是在选用 HOG 特征的基础上对分类器进行了改进，使用 Adaboost 算法集成三个 SVM 弱分类器获得了强分类器。除了采用主流的 HOG 特征外，很多专利申请也选取了其他的底层特征：1.CSS 特征：2014 年的专利申请 CN104537647A除了 HOG 特征外，还选取了颜色自相似特征（Color Self-Similarity，CSS），将深度学习模型和分类器联合起来，将待检测图像的特征向量作为将深度学习模型的输入数据，进而得到深度学习模型的隐层节点的状态值，最后将最后一层隐层节点的状态值作为分类器的输入，得到分类结果。2.LBP 特征：2014 年的专利申请 CN104091157A，提出了一种 HOG 与纹理特征局部二值模式（Local Binary Patterns，LBP）融合的行人检测方法，采用多特征融合的方法，融合 LBP 纹理特征，与 SVM 分类器相结合，在提高 HOG-LBP 识别率的同时，降低了训练和检测的时间，且能很好地处理行人遮挡问题。2016 年的专利申请 CN105741324A 使用光流法检测出所有移动目标后，提取 HSV 颜色特征和 LBP 纹理特征，使用 SVM 作为分类器进行特征分类，并且在完成行人检测的基础上还进一步追踪了行人的运动。3.ICF 特征：2016 年的专利申请 CN105975921A使用积分通道特征（Integral Channel Features，ICF）。ICF 计算出包含 LUV（色度和色差）、梯度