基于区块链存证的Deepfake内容监管技术研究_毛典辉.pdf

基金项目:国家社会科学基金(18BGL202)收稿日期:20210317修回日期:20210524第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02033907基于区块链存证的 Deepfake 内容监管技术研究毛典辉1，2，赵爽1，黄晖煜1，郝治昊1(1 北京工商大学计算机学院，北京 100048;2 北京工商大学农产品质量安全追溯技术及应用国家工程实验室，北京 100048)摘要:随着人工智能技术的发展，基于深度学习的深度伪造技术日趋成熟，通过多媒体篡改工具可以对视频中的人脸进行随意的篡改，并且几乎无法被肉眼察觉。深度伪造人脸视频成为互联网内容监管中不可或缺的重要部分。以短视频社交平台为应用场景，提出了一种基于区块链存证技术的深度伪造人脸视频内容监管方法。方法针对实际场景中图像内容质量差异的特点设计出一种线性混合的检测方法，在边缘端采用基于轻量级微调神经网络的分类器架构，结合服务器端采取频谱特征进行分类。解决了传统独立检测方法面对数亿级短视频内容的上传与发布过程中检测效率与准确率之间难以平衡的问题。上述方法针对视频文件大且大量转发导致的数据冗余问题，采用超级账本与 IPFS 相结合的数据存储方式，可以对深度伪造人脸视频内容进行快速精准的追溯并对用户行为进行评价。实验结果表明，所提方法在两个公共深度伪造人脸视频数据集(DeepfakeDetection、CelebDF)中都表现出较好的效果，并且在针对内容监管平台的性能测试中表现较好。关键词:深度伪造人脸视频检测;区块链;云存储;存证;内容监管中图分类号:TP391文献标识码:Besearch on Deepfake Content Monitoring TechnologyBased on Blockchain DepositoryMAO Dianhui1，2，ZHAO Shuang1，HUANG Huiyu1，HAO Zhihao1(1 School of Computer Science and Engineering，Beijing Technology and Business University，Beijing 100048，China;2 National Engineering Laboratory for Agriproduct Quality Traceability，Beijing Technology and Buness University，Beijing 100048，China)ABSTACT:With the development of artificial intelligence technology，Deepfake technology based on deep learningis increasingly mature，and through multimedia tampering tools that can be randomly manipulated on human faces invideos，it is almost impossible to be detected by the naked eye Therefore，Deepfake face videos have become an es-sential part of Internet content monitoring This paper proposes a Deepfake of face video content monitoring methodol-ogy based on blockchain depository technology with short video social platforms as an applicable field The method isdesigned as a linear hybrid detection method for the difference of image content quality in actual cases，adopting aclassifier architecture based on lightweight finetuned networks at the edge，combined with serverside spectral fea-tures for classification It solves the problem of the balance between detection efficiency and accuracy in the process ofuploading and posting several billion contents of short videos by traditional standalone detection methods In addition，the method is designed to address the data redundancy problem caused by large video files and massive forwarding，u-sing a combination of Hyperledger and IPFS data storage，which can quickly and accurately trace the content of Deep-fake face videos and evaluate user behavior The experimental results show that the method performs well in both pub-lic Deepfake face video datasets(DeepfakeDetection，CelebDF)，and it performs well in performance measurementsfor Deepfake content monitoring platformsKEYWODS:Deepfake detection;Blockchain;Cloud storage;Deposit certificate;Content monitoring9331引言随着移动互联网的发展和短视频社交平台迅速崛起，数字信息传播速度更快、范围更广。但其中存在的 Deepfake(深度伪造人脸视频)等 AI 技术14 可能会被利用从事危害国家安全、侵犯他人合法权益等法律法规禁止的活动，对社会稳定造成不良影响。2019 年 11 月，国家互联网信息办公室等部门出台监管文件5 强调“网络音视频信息服务提供者应当部署应用非真实音视频鉴别技术，发现音视频信息服务基于深度学习、虚拟现实等的虚假图像、音视频生成技术制作、发布、传播信息内容的，应采取警示整改、限制功能、暂停更新、关闭账号等处置措施，保存有关记录”。因此，针对Deepfake 人脸伪造视频内容的监管得到广泛社会关注。如今，基于深度伪造人脸视频内容的监管方式由人工检测与机器检测6 相互补充。但由于 Deepfake 技术独特的生成机制，以及生成 Deepfake 内容 GAN 模型样本量不断增加7 使其具有自我修正的能力，使得人工检测方法日趋失效。同时，在实际运营的短视频社交平台中视频质量参差不齐，服务器端存储的视频图像分辨率相对较高，受实际带宽传输限制，平台一般借助压缩技术对视频进行重新编码使得客户端播放的视频图像分辨率较低。因此，依据单一独立特征的 Deepfake 人脸伪造视频检测方法810 难以适应边缘用户与中心服务器间复杂的检测要求。除此之外，由于短视频社交平台数亿级的传播图像数据具有视频文件大、因转发传播造成重复存储同一数据文件等特点，监管平台面临着巨大的计算成本压力。针对以上问题，本文基于区块链存证技术设计出一种Deepfake 人脸视频图像内容监管方法。首先，针对存储视频文件大及数据冗余问题，引入区块链存证技术，构建了 IPFS超级账本存储环境，实现了链上存储哈希值与链下存储原始视频源文件相结合的数据存储方式。其次，针对 Deepfake视频内容监管准确率问题，设计出一种混合 Deepfake 人脸视频内容检测方法，该方法以图像分辨率为标准，低分辨率视频采用基于微调神经网络的分类器，高分辨率视频则依据图像频谱特征进行分类，通过两种方法线性组合增强了检测方法鲁棒性。同时，针对 Deepfake 内容监管效率问题，采用了一种边缘端与服务器端协同工作的监管架构，该架构引入边缘端设备，通过将部分(低分辨率)检测模块神经网络附加轻量级网络 MobileNet V3 实现，降低监管平台计算压力的同时提高了检测效率。2相关工作2.1Deepfake 人脸视频检测方法近几年，Deepfake 人脸视频检测方法主要包括基于帧间时间特性或基于帧内人为视觉效果两大类。利用帧间时间特性通常使用递归分类方法，基于帧内人为视觉效果则在提取特定特征后用深层或浅层的分类器来完成检测。Li11 等研究的 Deepfake 人脸视频生成模型由于计算资源和制作时间的限制，只能合成有限分辨率的人脸视频，并且必须对Deepfake 人脸视频图像进行仿射变换，扭曲面区域和周围环境的图像分辨率不一致在生成的 Deepfake 人脸视频中留下了独特特征，这一特征可以被经典的深度神经网络模型(如VGG，esNet 等)有效学习。Matern12 等人也同样关注到人为视觉效果特征，通过眼睛、牙齿、面部轮廓可以检测出一些人为视觉特性。该工作研究将人为视觉特征分为全局一致性、光照估计、几何估计等类别，通过提取这些特征组成特征向量完成 Deepfake 人脸视频检测。除此之外，Hasan13 等人提供了一个基于区块链技术的解决方案和通用框架，以追踪数字内容的来源和历史到其原始来源判断视频中是否存在深度伪造人脸内容。但是，随着短视频社交平台等互联网应用的发展，以及 Deepfake 人脸视频生成技术的不断提升，单一的检测方法逐渐被替代，多种检测特征相结合的混合方法逐渐成为发展趋势。2.2区块链存证方法区块链(Blockchain)最早被 Satoshi Nakamoto 提出，是一种基于数据加密、分布式存储、点对点传输、时间戳、共识机制等技术的去中心化数据管理模式。区块链技术的分布式架构及共识机制可以有效防止数据被篡改并进行精准追溯，自动化执行智能合约的实现为监管方法提供了可能。区块链存证方法基于区块链技术，将证据数据文件利用多种 Hash算法计算多个 Hash 值并存储在区块链上。虽然区块链技术解决了传统的中心化存储方式容易出现篡改及数据文件丢失问题，但区块链区块存储量小，仅适用于存储数据的数字摘要。针对这一问题，相关研究提出区块链架构作为存证方法底层网络，结合分布式存储技术实现存证文件的安全存储的方式实现去中心化存证技术。这种基于区块链的分布式架构在 Sharma14 等人的研究中得到了较高的性能表现，其支持实时数据传输，具有高扩展性、低延迟率及安全性，同时边缘计算、雾计算等云计算新兴技术显著降低了网络计算压力。近几年来，IPFS15 星际文件方法(InterPlanetary File System)、Storj16、Frameup17 等分布式云存储项目的陆续出现也使得相关技术成为研究热点，例如chen18 等人提供了一种基于 IPFS 和区块链技术的 P2P 文件方法改进方案;Ali19 等人关注于利用该存储方式保护物联网数据隐私;Confais20 等人将 IPFS 与 ScaleOut NAS 解决方案结合使用，提出了雾计算和边缘计算基础设备解决云计算平台的延迟问题。因此，区块链云存储模式不仅保障了数据存储安全性，也使数字内容的传播变得可追溯、透明化，为本文深度伪造人