视频中异常行为自动检测技术研究_柏万胜.pdf

书书书第 44 卷 第 2 期安全Vol44 No22023 年 2 月Safety SecurityFeb 2023Expert Viewpoint人 物 观 点引用格式:柏万胜，孙鹏，郎宇博，等视频中异常行为自动检测技术研究 J 安全，2023，44(2):16，9作者简介:柏万胜(1996)，男，江苏盐城人，硕士研究生，研究方向为声像资料检验技术。Email:1076846873qqcom通信作者:孙鹏(1978)，男，辽宁沈阳人，博士，教授，研究方向为智能监控技术、视频物证技术。Email:6094079qqcomDOI:1019737/jcnkiissn10023631202302001视频中异常行为自动检测技术研究柏万胜1孙鹏1，2教授郎宇博1单大国1(1中国刑事警察学院，辽宁 沈阳 110854;2公安部痕迹检验重点实验室，辽宁 沈阳 110854)【摘要】为提升计算机对视频中异常行为的识别、判断能力，提供及时发现异常行为并阻止其造成更大损失的可能性，本文提出 2 种基于视觉低层特征设计的异常行为检测技术，利用混合高斯模型和区域像素灰度值判断运动目标是否进入危险高度，进而达到对攀高的检测;利用光流聚类法和目标跟踪法实现初步、精确判断是否存在逆行行为。攀高实验中选取 2 个不同场景下的视频，逆行实验选取室外复杂环境中拍摄的视频进行检测，检测结果显示:攀高检测中，无误检;逆行检测中相较于传统光流法，误检率明显降低。【关键词】异常行为检测;视频监控;公共安全;视觉特征中图分类号:X9242文献标识码:A文章编号:10023631(2023)02000106基金资助:国家重点研发计划专项(2017YFC0822204);公安部痕迹检验重点实验室开放课题(2020ZDKF012);辽宁网络安全执法协同创新中心(2018007)esearch on Automatic Detection Technology ofAbnormal Behavior in VideoBAI Wansheng1SUN Peng1，2LANG Yubo1SHAN Daguo1(1Criminal Investigation Police University of China，Shenyang Liaoning 110854，China;2Key Laboratory of Trace Examination，Ministry of Public Security，Shenyang Liaoning 110854，China)Abstract:In order to improve the computers ability to recognize and judge abnormal behaviors in video，twoabnormal behavior detection technologies based on lowlevel visual features are proposed to detect ascendingand retrograde behaviors in abnormal behaviors respectively，so as to make it possible to detect abnormal be-haviors in time and prevent them from causing greater losses The climbing detection technology uses themixed Gaussian model and the gray value of regional pixels to judge whether the moving target enters thedangerous height，so as to achieve the purpose of climbing detection etrograde detection technology usesoptical flowclustering method and target tracking method to determine whether retrograde behavior exists Inthe climbing experiment，two videos in different scenes were selected for detection and no false detectionwere reported The retrograde experiment selects the video shot in the complex outdoor environment for detec-tion Compared with the traditional optical flow method，the false detection rate is significantly reduced1特别策划2023 年第 2 期视频中异常行为自动检测技术研究Keywords:abnormal behavior detection;video surveillance;public safety;visual feature0引言随着视频监控的广泛使用，视频侦查在案件侦破中发挥的作用越来越明显1，但是，由于不同人的注意力水平和理解能力存在差异，同一图像证据，不同的人做出的判断和获得的信息有可能存在很大差别2。如何通过监控及时发现违法人员的不法行为并阻止其造成更大损失成为智能视频监控领域专家们的研究热点。在视频影像中目标特性会随着时间推移而变化，由于人注意力的局限性，很容易对目标做出错误地区分和识别3。利用计算机对视频进行分析研究成为视觉研究者关注的焦点，国内外学者针对计算机视觉研究的异常行为检测方法大致可分为 2类:基于建模的方法和基于相似度的方法4。基于建模的方法利用正常样本训练正常行为的算法模型，然后用该算法模型来检测异常行为。例如文献 5 利用最大似然比算法，对运动目标和光流矢量建立高斯模型，对光流直方图建立隐马尔可夫模型。基于相似度的方法适用于数据点的聚集程度高、离群点较少的情况。但是，通常需要对每一个数据分别进行相应计算，计算量大，不适用于数据量大、维度高的数据。例如文献 6通过聚类分析形成的特征对车辆的异常行为事件进行监测。本研究从视觉低层特征出发对视频监控中存在的攀爬、逆行异常行为提出 2 种检测方法。1异常行为检测原理及特征提取方法异常行为检测技术基于智能视频监控的需求，利用模式识别、计算机视觉、机器学习等方法对监控视频序列进行学习、理解和分析检测。检测过程主要利用计算机对视频中连续帧画面进行分析，从低层视觉特征出发研究每一类异常动作在视频监控中呈现的相同特征，根据相同特征判断视频中是否存在异常行为。视频监控中异常行为检测技术的发展受到诸多阻碍，首先，视频监控的拍摄环境很多是室外，这意味着视频中存在光线变化、画面抖动及天气变化等外在干扰因素，多数异常行为检测算法还停留在手工描述特征的低层语义阶段7，对于其算法处理视频会有很大影响;其次，画面中经常出现目标遮挡、视角过小等不利于计算机作出异常行为判断的问题;再次，视频监控技术、设备快速发展，视频监控图像的像素也随之升高，带来的更大的数据处理量不利于视频监控的实时性处理要求。1 1异常行为检测原理异常行为的定义很难一概而论，一方面异常行为种类繁多;另一方面定义异常行为需要具体的周围环境描述，例如在人行道和机动车道上骑自行车。在基于计算机视觉对异常行为的研究中默认背离社会规律的行为皆为异常行为。异常行为检测可以视为高层次的图像理解操作，首先，对输入视频帧的逻辑信息进行提取并建立模型，建立模型后利用正常行为的视频集进行训练，使参数更加拟合，模型对正常行为有更准确的识别判断;其次，利用存在异常行为的视频对训练后的模型进行检测，模型识别异常行为的准确率越高则模型的异常行为检测能力越好。运用异常行为检测技术处理视频可以分为 4个阶段:视频帧序列化阶段，将训练视频转化成视频帧;视频帧预处理阶段，对转化的视频帧进行数据清理;提取特征阶段，从视频帧中提取行为特征;检测分类阶段，利用分类器对送检视频检测分类。流程，如图 1。图 1异常检测技术原理示意图Fig1Schematic diagram of anomaly detection technology22023 年第 2 期特别策划视频中异常行为自动检测技术研究1 2异常行为检测特征提取方法异常检测技术的性能与特征选取和模型建立直接相关，其中特征选取的优劣又影响模型的建立与训练。故选择、提取描述行为的特征时，应尽量秉持特征不变性、唯一区别性的原则。描述行为特征的主要方法有 2 种:一种是基于对象的方法，主要关注单个对象在视频中所呈现的运动特征，如运动时在连续视频帧中运动目标的大小变化、运动轨迹、运动速度及运动形状参数;另一种是基于整体的方法，此方法将所有对象看作一个整体，基于像素级对运动目标的运动方向、轨迹进行描述，以颜色、像素梯度衡量，光流法因其良好的时空特性成为这种方法的典型代表。2视频中攀爬及逆行异常行为检测异常行为检测是智能视频监控的重要分支，实现异常行为检测有助于减少在监测时投入的人力、物力，攀爬检测和逆行行为检测都是基于异常行为检测的设计初衷，分别对视频中存在运动目标活动于警戒高度区域内和行人逆行行为进行检测和预警。针对视频监控中攀爬的检测是基于运动目标检测，对运动目标的活动范围作出高度限制，当运动目标的运动范围超过视频监控中设定的预警高度时则发出警报;针对逆行的检测是通过光流法进行聚类，初步判断出视频中是否存在逆行行为，再利用目标追踪得到目标运动的轨迹及方向，根据运动轨迹进一步精确判断逆行行为是否真实发生。在视频分析中提取运动前景的优劣直接关系计算机视觉利用低层特征检测异常行为性能的好坏，目前常用的检测方法分为 3 大类:帧间差分法、光流法及背景减除法8。2 1攀爬自动检测技术日常生活中人受到自身重力的影响，攀爬行为通常较为缓慢，故选用高斯混合模型提取运动前景。通过高斯混合模型将运动目标二值化处理，设定视频监控中的预警高度，为防止噪声干扰设定阈值，对超出预警高度部分的像素值个数进行统计，公式如下:sni Mni=0，pi pa1，pi=pa(1)式中:pi为警戒区域第 i 个像素的像素值;pa为像素值的阈值，前景图像为二值化图像，故设定 pa为 1;ni为统计警戒区域内目标像素的个数;M为像素个数总和的阈值;s为超过像素值阈值个数的总和。当满足公式(1)时，则代表运动目标攀爬进入了预警区域内，不满足则继续读取下一视频帧。算法流程，如图 2。图 2攀高算法整体流程图Fig2Overall flow chart of climbing algorithm211攀爬自动检测实验设计实验选用手机后置摄像头拍摄的 2 个不同场景下的攀爬视频进行检测，如图 3。图 3 中(a)场景位于室内，有稳定的光线且人员较少;(b)场景位于室外，光线易变化且人员较多，画面中存在树叶晃动等微小重复运动。3特别策划2023 年第 2 期视频中异常行为自动检测技术研究图 3场景环境示意图Fig3Schematic diagram of the scene environment212实验过程第一步，读取开始视频帧，并初始化参数和实现建模。实验中设定警戒高度为一条直线，如图 4。图 4 中(a)、(b)分别为 2 个场景下提取的前景二值化图像，图像中存在明显的噪声干扰，故需通过设定阈值降低误判率。图 4混合高斯模型处理后的二值化图像Fig4Binary image processed by hybrid Gaussian model第二步，读取下一视频帧，依据当前视频帧与背景模型匹配进而判断是否需要更新参数，参数更新的公式如下:i，t=(1)i，t1+(