洞悉视觉前沿,加速领域发展...北京航空航天大学张宝昌教授_张莹.pdf

第 4 卷第 4 期2022 年 12 月微纳电子与智能制造Micro/nano Electronics and Intelligent ManufacturingVol.4 No.4Dec.2022DOI:10.19816/ki.10-1594/tn.2022.04.007洞悉视觉前沿,加速领域发展 访北京航空航天大学张宝昌教授张莹1,2,李琼1,2(1.北京市科学技术研究院信息与人工智能技术研究所 北京 100089;2.微纳电子与智能制造编辑部 北京 100089)编者按:近年来,在深度学习、知识表征等人工智能技术的推动下,计算机视觉与多学科多领域深度交叉、融合发展,已经成为促进制造业智能升级的有力支撑。微纳电子与智能制造有幸采访到北京航空航天大学教授张宝昌,为读者介绍其在计算机视觉领域的主要研究成果、领域内的技术挑战及未来的发展趋势,并对基础学科和应用学科的协同发展以及人才培养等方面提出建议,以推动技术向成果转化、人才向需求看齐。关键词:计算机视觉;控制理论;目标检测;模型压缩中图分类号:TP391.4 文献标识码:A 国家标准学科分类代码:520张宝昌,北京航空航天大学教授,本硕博均毕业于哈尔滨工业大学,2018 年进入北航长聘系列,曾任百度深度学习实验室学术顾问。长期从事复杂背景下快速小目标检测与识别研究,目前尤其关注控制理论和深度学习的结合。在国家自然科学基金、华为和航天科工 17 所等项目支持下,围绕前端视觉感知展开研究。发表 CCF A 会议/期刊、IEEE 汇刊论文 90 余篇,其中 IJCV 7 篇、IEEE 汇刊 40 余篇;一作单篇论文引用 1213 次;申请/获批专利 12 项。入选教育部新世纪优秀人才计划和爱思唯尔中国高被引学者榜单。获省部级和一级学会一等奖、国际比赛第一名 7 项。科研成果应用于国家重要项目。微微纳纳电电子子与与智智能能制制造造:您多年来从事复杂背景下快速小目标检测与识别研究,发表了许多优秀的研究成果,也在 ECCV、ICPR 相关比赛中取得了优异的成绩,请问您在研究过程中,遇到过哪些问题,是通过什么方式解决的?该领域目前仍然需要关注的难点是什么?张张宝宝昌昌:非常感谢贵期刊的邀请。我的研究致力于探索复杂背景下快速小目标检测与识别。在研究过程中,我们发现对于小目标的检测任务,数据增强是非常关键的。因此,我们使用了很多特定物体的数据来增强模型的目标检测能力,例如人体等。另外,在训练过程中,研究团队还采用了多尺度训练的方法以及其他一些技术手段,比如特征设计、模型融合等。通过从多方面入手,我们努力探索出适用于复杂背景下快速小目标检测与识别的有效方法和技巧,并取得了一定的研究成果。在该领域中,我认为需要注意两个难点。第一个是:现有方法是否存在数据泄露问题,我们需要进一步探究如何避免这种问题的发生。第二个是:将数据驱动和知识驱动进行融合,以获得更好的结果。比如对于小目标,应用形状、显著性等先验知识,更8 微纳电子与智能制造第 4 卷能提升系统性能。在大模型领域中,加速算法也是一个需要探究的方向。在未来的发展过程中,应该注重加速模型训练、引入不确定性方法改进损失函数、针对特定任务进行知识嵌入等方面的工作。同时,需要强调的是注意方法是否存在数据泄露的问题,真正做到技术层面的创新。与人工智能领域的发展类似,将数据驱动和知识驱动进行融合以获得更好的结果,也是目标检测领域的重要发展方向。微微纳纳电电子子与与智智能能制制造造:针对目标检测的特征优化问题,您结合深度学习和控制理论提出了 iffDe-tector,通过引入反馈结构,提高了检测性能,请问是什么样的契机让您想到将深度学习和控制理论结合起来去解决问题?目前这方面有哪些重要的研究成果?二者结 合 对 计 算 机 视 觉 未 来 的 发 展 有 哪 些帮助?张张宝宝昌昌:目标检测的特征优化问题是计算机视觉领域中一个重要的研究方向。我们在进行研究时,发现控制理论中的反馈控制思想可以应用于目标检测中。具体而言,通过引入反馈结构,基于中高层语义信息反馈来提高特征表达能力,从而提高目标检测的性能。由于团队中有很多控制领域专业的学生,我们得到了灵感并尝试将深度学习和控制理论相结合解决目标检测问题。事实上,近年来深度学习和控制理论的结合已经成为计算机视觉领域的热门研究方向之一。除了我们的工作外,还有许多其他研究成果,比如 deep reinforcement learning、deep control 和 model predic-tive control 等。这些成果都对计算机视觉领域的发展做出了贡献。控制理论在视觉领域的应用主要在于增强模型的鲁棒性和泛化能力。通过引入反馈机制或交互,可以让模型从真实世界中学习,并逐步改善其性能和表现。同时,深度学习为控制领域提供了一种新的工具,促进两个领域的深度融合。例如,通过与用户交互帮助模型更好地理解人类行为和意图,从而提高行为识别和动作检测的准确率。同时,交互也可以帮助我们更好地理解视觉数据,并实现更准确、更高效的图像处理和分析。最近很火的 ChatGPT 和 Prompt-learning,都是让深度模型与人类进行交互,人类给模型提供提示,纠正模型的输出来控制模型的输出边界,实现更加可控和可解释的 AI 系统。引入控制理论的思想,可以提高模型的鲁棒性和泛化能力,同时,通过交互等方式可以提高学习效率,实现更准确、更高效的图像处理和分析。未来,深度学习和控制理论的结合将为计算机视觉领域带来更多的机遇和挑战。微微纳纳电电子子与与智智能能制制造造:您代表性研究成果之一是提出了可信学习方法,并针对双线性优化设计了协同梯度下降算法。您能否简要介绍一下可信学习和协同梯度下降算法研究的背景及解决的问题?张张宝宝昌昌:基于协同梯度下降算法的可信学习是我们的代表性研究成果之一,旨在解决机器学习中普遍存在的模型可靠性和优化效率问题。我们发现深度学习模型具有强耦合性,会对模型的可靠性产生负面影响。因此,我们开始探索去除这种耦合性,并将特征与系统误差分离,使它们变得相互独立。针对此问题,我们提出了协同梯度下降算法,通过变量解耦加快更新收敛、提升优化效率。基于协同梯度下降算法,我们构建了可信学习方法,这是一种从基于因果关系的角度出发,提高深度学习模型可靠性的方法。根据深度学习算法和因果学习之间的联系,我们建立了一种理论框架。具体来说,我们认为如果某个特征与系统误差无关,则它具有一定的因果性,并且可以进行因果推断。我们将这样的特征视为可信的,以提高模型的可靠性。我们的研究成果在 IJCV、中国科学等期刊上发表,得到了广泛的认可。这些方法不仅在机器学习领域具有重要应用价值,也推动了机器学习算法的发展。微微纳纳电电子子与与智智能能制制造造:您在国际上首次证明了混合高斯波函数的不确定性上界,极大地推广了高斯波函数的不确定性原理。您能否简要介绍一下该理论及其在目标跟踪中的作用?张张宝宝昌昌:我们研究的出发点是人类观察外界时使用高斯窗口观察物体的现象。这可以在视觉上省略一些无用信息,从而达到节约能量和减少误差的效果。但是单个高斯函数无法完全描述目标,因此需要使用混合高斯波函数进行描述。我们从理论上证明这个方法在什么情况下可以在空域和频域两方面同时具有最小不确定性,即不同位置采取不同高斯函数,可以更好地刻画目标。在跟踪任务中,由于物体的运动规律复杂多变,因此需要结合多种算法和方法来实现准确跟踪。我们加入了混合高斯分布作为约束性条件来判断,从而减缓漂移现象的发生。具体而言,当物体的速度和位置之间的关系不符合一定的约束条件时,就会第 4 期洞悉视觉前沿,加速领域发展 访北京航空航天大学张宝昌教授9 产生漂移问题,可以通过设置相应的约束条件去帮助解决这个问题。我们的这项研究成果在目标跟踪领域具有重要的理论和应用价值,它提供了一种新的思路和方法,可以帮助我们更好地刻画物体。后续我们还提出了Gabor CNN 和调制网络等新型神经网络模型。微微纳纳电电子子与与智智能能制制造造:在深度模型压缩方面,您提出了一系列原创压缩模型,其中,1-bit 深度模型压缩在工业界得到推广。请问业界常用的目标检测模型压缩方法有哪些?与之相比,您提出的1 bit 深度模型压缩方法的优势有哪些?张张宝宝昌昌:业界常用的目标检测模型压缩方法包括剪枝、量化和蒸馏等。其中,剪枝通过去除冗余权重来减小模型大小;量化将浮点数权重转换为低精度整数,从而减少模型的存储和计算成本;蒸馏则使用较小的模型训练更大的模型,以此减小模型大小。与这些方法相比,我们提出的一系列 1-bit 深度模型压缩是一种极限压缩技术,是最具挑战性的比特压缩方式。近 3 年,我们在 1-bit 或二值网络领域顶会顶刊中发表的论文占比约 30%,得到了德国工程院等知名学者的认可。1-bit 深度模型压缩是一种基于硬件友好的二值神经网络的压缩方法,采用直接二值化或近似二值化的方式将模型权重参数压缩到 1 位。这种方式不仅可以实现非常小的模型大小,还可以显著降低模型的计算复杂度。使用 1-bit 深度模型压缩时,可以将模型的存储需求减少 32 倍。另外,1-bit 深度模型压缩可以实现极高的计算速度,同时获得高精度的目标检测结果。据报道,苹果公司以 2 亿美元的价格收购了 Xnor.ai 公司,其中就包括 1-bit 深度模型压缩技术,用以改善他们的产品性能。1-bit 深度模型压缩技术是一种非常有应用前景的压缩技术,可以帮助我们在需要高效率和高精度的场景下更好地利用深度学习算法,避免使用价格昂贵和计算冗余的 GPU 并取得很好的效果。其优势十分明显,特别是在边缘设备上的深度学习应用中,具有极端的压缩能力、极高的计算速度和非常低的功耗。这些特点也正是众多企业争相研究并应用 1-bit 深度模型压缩的原因之一。微微纳纳电电子子与与智智能能制制造造:您深耕计算机视觉领域多年,请问您认为目前该领域存在哪些共性问题?同时,现在一直在大力提倡产学研融合发展,那么您对基础学科和应用学科的协调发展及人才培养有什么建议?需要哪些支持?张张宝宝昌昌:对于计算机视觉领域的共性问题,需要考虑一些重要的研究方向和挑战。其中,知识驱动的视觉模型是我们现在的研究方向之一。这种方法通过挖掘“属性-对象”之间的关系来进行推理,从而提高图像识别的准确性和可解释性。例如,利用属性建模的方法可以提高对物体的检测和识别能力,同时也可以增强图像描述的表达能力。另一方面,产学研合作也是促进计算机视觉领域发展的重要手段。ChatGPT 这种技术就是产学研合作的典范之一。研究领域的很多技术需要落到工业中才能够验证它的有效性,潜力也才能够被完全发挥出来。然而,ChatGPT 需要大规模的算力,部署成本十分的高昂,这样大的成本高校是很难承担的。为了更好地协调基础学科和应用学科的发展,加强产学研融合,在人才培养方面,首先需要加强基础学科的教育和研究,提高计算机视觉算法的理论水平和技术能力,并做一些看似无用的研究,着重理论上有突破。我在教授机器学习、计算机视觉等课程的过程中发现,经典算法是我们深入理解和掌握计算机视觉的基础。如果不能理解经典算法的原理和应用场景,而是直接使用深度学习等高级方法去解决问题,可能会在创新上遇到困难。所以,在学习计算机视觉时,需要重视基础学科,尤其是数学,因为视觉本质上是一种信号处理问题。通过掌握基础学科知识,并结合最新研究成果,我们才能够更好地提升计算机视觉模型的性能和实际应用效果。其次,需要加强产学研合作,促进学术成果的落地和商业化。比如我们推广的新兴研究方向 属性学习和知识驱动的视觉模型,如果想要真正看到这种方法的潜力,只停留在研究领域发论文是不够的。可以借鉴 ChatGPT 的发展思路,把学术成果设计成可拓展的模型,应用于工业领域,从而打造具备更高潜力的 AI 系统。最后,还需要加强跨学科交流和协作,与其他相关学科相结合。比如现在人们关注为什么 Chat-GPT 会发生涌现,可以与研究认知神经科学的学者进行交流和学习。因为深度模型受启发于生