基于多模态融合技术的高可靠远程办案系统关键技术研究.pdf

基于多模态融合技术的高可靠远程办案系统关键技术研究沈仕飞 曾珂?吴凯铭浙江省杭州市公安局余杭区分局摘要：随着各种网络犯罪案件高发，其受害人数量多、分布广的特征导致传统的面对面询问取证工作遇到了很大的挑战，办案效率低，差旅成本高都是不可回避的问题，因此需要研究如何切实为当事人和民警减负。常规模式下的远程询问取证需要固定场所和专业设备，仍无法解决老百姓到场难，民警在非询问场所无法开展远程询问，被询问对象数量多导致询问场所排队等问题，因此如何通过新技术来构建更加智能、可靠的远程办案系统成为当务之急。基于多模态融合技术和区块链存证技术，研究的高可靠远程办案系统可真正解决上述难题，实现无需专业设备，不受时空限制，随时随地，安全可信的开展远程询问取证，真正为一线民警达到减负增效的同时，有效提升群众的满意度。关键词：多模态融合技术可信取证远程办案证成为一道难题。对民众来说，报案、作证“一次都不引言跑，手机点点最好”是迫切需求。非接触式、便携、可信远程讯问，是指通过现代化信息技术，使得办案人员的创新办案方式成为当务之急。得以在不见面情况下，远距离完成对在押犯罪嫌疑人的讯一、传统远程办案技术面临的挑战问工作。就属性而言，远程视频办案模式是法治建设与现代信息通信技术以及互联网模式高速发展融合的产物，也是刑事诉讼法及其司法解释由纸上执法走向线上执法的明证。随着近些年电信网络诈骗案件高发，传统面对面询问取证的办案模式因当事人分布广泛等原因，无法有效解决时效低、成本高的问题。对民警来说，警力不足，两名民警无法同时在场的情况时有发生，如何解决跨时空询问取通过先进计算机技术和视听技术综合而成的远程监控系统是审讯和监控过程规范化、数字化、信息化、网络化和专业化重要组成部分2。事实上，远程办案方式有其自身的特点、发展规律和形态模式，有助于提升办案效率、规范司法行为、补充案卷证据、便利当事人、保障人权。疫情期间的广泛应用已经说明了其具有传统办案方式不可比拟的应用优势。PoliceTechnology2023年第4期39公安信息化但是针对网络犯罪类案件的办理来说，此类利用视频会议技术进行远程询问办案的方法，仍面临两大技术挑战：一是无法做到“有网络即连接、打破时空限制”，存在人员数量并发限制。近些年，电信网络诈骗案件呈高发态势，与传统案件不同的是，这类案件的涉案受害群众分布广泛，面对面询问取证的方式已无法满足时效性的要求。为此，基于视频会议系统的远程询问取证系统应运而生，然而这种方式也存在一定的瓶颈，一方面需要专业音视频设备和环境的支撑，在遇到取证对象众多的情况时，民警和当事人就要排队，一旦遇到设备岩机等情况，效率将会更低。另一方面，该种方式还需要办案机关协调异地警力支撑，受害人协调和异地警力配合成本高，存在受害人不配合的情况，取证阻力也不小。三是如遇民警外出，没有专业的远程设备支撑，就无法对远端的受害人进行取证。二是如何认定远程被询问对象、询问过程以及询问产出的电子笔录的证据效力问题。传统基于音视频会议设备的远程询问系统因场地固定，且具备专用签字擦印设备，所以当事人身份核验、签字、擦印过程均可完成。但如果想解决第一个问题点，就需要采用更加灵活便捷的终端设备，直接使用智能手机和普通电脑作为终端设备，然而这样会遇到新的技术挑战：如何认定被询问对象身份、如何让当事人签字擦印、如何对询问全程监控、如何尽可能确保最终生成的电子笔录以及出示的证据是真实有效的。二、基于多模态融合技术的高可靠远程办案系统基于上述业务难点，本文创新提出了一种全新的远程办案系统，该系统无需专业设备，仅由当事人端（手机小程序）和办案人员端（电脑Web端）两个入口组成，通过网络连接为当事人和办案人员提供了随时随地的在线音视频会话询问服务。远程办案系统服务被询间人办案人员图1询问双方通过网络互联该系统面向多种执法办案沟通场景，以区块链、流媒体、指纹识别、人脸识别、云计算以及大数据等多种核心技术为基础支撑，为办案人员及被询问人提供远程在线身份核验、可视沟通、在线示证、笔录书记、签字擦印、证据固定等功能。提升办案效率，降低办案成本，防止证据污染，方便证据管理。远程办案在线沟通视频通话电子笔录电子示证人脸识别指纹提取图2 远程办案系统架构图该系统的技术创新点在于将多种技术融合在一起来解决上节所述的两大难点，一是“方便可靠，随时随地，有网即连接”，取证双方不受地域和设备限制，可随时开展远程询问取证。二是相比传统远程询问取证系统方案，本系统具备更全面的当事人身份核验手段，监控当事人沟通过程且电子笔录、证据材料全过程区块链上链存证，证据效力更加充分。本章节将就该系统所应用的关键技术和功能亮点做论述。（一）高并发，轻终端系统采用了云计算技术、流媒体技术以及移动小程序技术，将传统的专业询问取证音视频设备换成了智能手机和普通电脑，让当事人使用智能手机，通过网络直接与电脑端的办案民警进行远程音视频通话。传统方式式1方式2口网络故障因为采用了基于云环境的流媒体技术，并将终端换成了手机和电脑，询问双方便摆脱了专线、专用设备、专用场所的限制，能够随时随地的开展远程询问工作。而云计算系统的弹性热备技术和高负载均衡技术，确保了整个通信链路的高可靠性和高并发性，一旦一条通信节点故障，民众移动端（小程序）执法部门电脑端（web端）证据管理录像签印审批 录屏授权人脸笔录核验核验拼础技术支撑语音转译云底座网络链路故障会议终端故障存储设备故障场所监控故障网络链路故障会议终端故障存储设备故障远程询问室场所监控故障图3云架构保证系统可靠性信息核验区块链流媒体本方案模式远端当事人云架构弹性热备，一条节点故障，立刻切换另一个节点连接办案民警40警察技术2 0 2 3年第4期办率人员电脑屏幕能够立马切换到另一个通信节点进行连接，同时能够支持多人同时在线开展音视频通话。而传统依托专线，专用设备和场所的方式，则会遇到排队等待、单个链路或场所设备故障等问题导致无法开展远程询问的情况。传统方式方式1方式2口远端当事人远程询间室仍然受场地及设备限制，同一个单位的民警办案只能排队等候，且无法满足外地出差无设备和专用环境下的远程办案需求图4云计算和流媒体技术提供低延迟、高并发（二）多源融合，高效叠加为了解决远程询问场景下当事人身份认定、询问过程监控以及电子笔录等书证材料证据固证问题5。系统将多种技术手段融合叠加到整个询问的全流程中，从多个维度来提升询问过程及询问产出物的可信性。登录环节示证等关键环节活体人脸识别技术双屏共享技术图5多模态融合可信技术方案1.活体人脸核验技术对登录小程序端的当事人身份进行核验，借助支付宝的活体人脸核验技术，能够有效避免通过照片等手段的虚假绕开问题。远端当事人图6 人脸核验当事人身份逻辑图目前，支付宝的活体人脸识别准确率超过9 9.6%，结合眼纹等多因子验证，准确率能达到9 9.9 9%，超过肉眼识别9 7%的准确率。基本上可以说，只要人眼能认出区别的人，识别程序就能认出；而程序能分辨出区别的人，人眼不一定认得出。在实际应用场景中，支付宝会先通过活体检测算法进行检测（判断采集到的人脸是活体信息而不是照片伪造、视频伪造或者其他软件模拟生成的），再使用人脸识别算法将“活体人脸”与比对库或者之前比对成功本方案模式的活体人脸信息进行比对，判断是否为同一人。口远端当事人远端当事人协办单位接受询问当事人仍需到当地排队等候录音录像技术签字环节7电子签字技术术活体非接触式擦印技术可信固证技术人像比对库拿人脸圈片人验图片人验比对活体人腔扫猫当事人身份信息外地出差民警本地民警本地民警不受场景和环境限制，随时随地，无需等待，并可井发进行提高取证效率徐印环节2.视频流媒体技术在询问全程中，询问双方的终端设备摄像头和麦克风会实时开启，对双方的整个对话画面进行同步录音录像，将整个询问过程录下来。远端当事人3.双屏共享技术为了确保在当事人示证、签字等关键环节时当事人在进行操作，采用双屏共享技术，在当事人进行签字、示证等关键过程时，系统会将当事人的人脸画面和手机端的屏幕画面同时投射到办案人员的电脑画面前，方便办案人员监督。前置摄像头拍摄当事人正面画面当事人操作手机屏幕存证环节图7 双屏共享技术逻辑图4.电子签字技术为了方便当事人签字，系统直接采用手机触屏技术，区块链当事人只需要通过手机屏幕就能完成签字，无需外置专业设备。5.活体非接触式擦印技术在整个询问过程中最难的点在于如何让当事人擦印，目前市面上的手机均不支持扫描并提取完整的手指指纹，又不可能让当事人临时去购买外置擦印设备。为此，系统开创性的采用了图像识别技术，让当事人用手机的后置摄像头对焦手指，系统直接拍摄提起指纹图片，通过图像识别技术来识别并提取出指纹纹理。为了进一步确保真实性，整个过程要求当事人必须是活体直接对焦手指拍摄，不能采用拍照一个已经擦印在纸上的指纹，技术难度大，此项技术也是国内首创应用在远程取证场景。捕获手指图像图像灰度化图8 活体非接触式擦印技术图像处理流程图当事人正面画面口实时回传手机屏幕画面捕提手机屏弗画面图像降噪边缘检测PoliceTechnology2023年第4期41公安信息化通过与传统纸上擦印对比，当拍摄对焦和光线良好的情况下，算法可提取到清晰的指纹纹路，并且系统还会将原始的拍摄图片也一并保存，作为后续二次核验的证据材料使用。6.区块链存证技术为确保询问材料（含电子笔录、签字、擦印、示证图片、音视频资料等）真实、有效、不被篡改，系统采用区块链存证技术对其进行加密、溯源和真实性核验。询问过程一旦结束，询问材料中的电子笔录（含正文、签字、擦印等）及每份示证图片、录音录像、录屏会各自自动生成一串唯一的数据码上区块链存证。区块链存证对上述数据码加密，计算和交互在加密后数据的多个计算节点之间独立完成，无中心控制节点，真实保障不可篡改。同时，每串数据码上链后会自动生成对应的唯一哈希值校验码，记载在电子笔录内。电子笔录存储至政务网唯一数据码示证图片各自对应生成录音录像录屏图9 区块链存证技术流程图通过将上述几种技术进行有机融合，从当事人身份、关键过程、询问全程、签字确认、隔指纹擦印以及最后的电子笔录存档的全过程进行核验、监控、固证，在满足沟通双方易用性的前提下，最大程度的保证了整个过程的真实可靠性。三、研究成果该研究成果在某地市进行了实践运用，截止到2 0 2 2 年4月，已累计询问12 41人次，询问时长16 57 小时，被询问对象所在地区已覆盖全国30 个省、自治区，133个城市。经计算，累计节省办案时间约37 2 3天，节省差旅费用约382万元，节省往返里程8 3.6 4万公里。该技术成果实现了三个“首创”。一是全国首个采用此项远程办案技术实现司法判决，其中杭州女子取快递被诽谤案入选最高检典型案例；二是支撑了全国首例物流企业涉嫌妨害传染病防治案，采用远程办案技术方式在3天内完成2 0 0 余名人员远程询问；三是全国首个将活体非接触式擦印技术应用到远程询问取证场景。四、结语当前，公安远程办案系统数字化改革项目已经成为各地政法一体化多跨协同的重要组成部分。那么如何设计出适合数字化时代的好用易用且高可靠的远程办案系统显得电子笔录记装小程序扫描校整区块鞋存证哈希值校验码韩换哈希值二维码各自对应生成尤为重要。本文在多模态融合技术和区块存证技术上开展了远程办案领域的创新尝试，以满足高可靠、多源融合为核心需求，在活体人脸检验技术、询问视频流媒体优化技术、询问过程双屏共享技术、电子签字技术、活体非接触式印技术和区块存证技术六个方面进行创新探索，架构了新一代远程办案系统，为某市公安局乃至全国公安机关进行数字化转型下的远程办案赋能提供了丰富的宝贵经验。实战验证数据基本上反映了民警的办案目标，满足高可靠易用需求。本文所研究之内容可以作为远程办案技术在公安数字化建设中相关研究的理论基础，也可以为办案智能应用规划设计提供一定的参考价值和工程意义。参考文献1】马浩友.公安机关远程提讯的证据效力与应用发展。网络安全技术与应用,2 0 2 2,(2):154-154.2杜鹏.远程监控系统在检察机关审讯、监控中的应用探究I数字技术与应用,2 0 2 4,(8):143-144.3封宜汝.基于多模态特征融合的视频分类研究与应用 D大连理工大学，2 0 2 2:4-6.孙福辉.最高人民法院关于加强区块链司法应用的意见理解与适用I。中国应用法学,2 0 2 2,(4),5陈娟,胡军,李圣洁.云环境下远程询问体系构建及电子询问笔录证明力研究。人民检察,2 0 2 2,(4):6 4-6 8.42警察技术2 0 2 3年第4期