基于MeAEG-Net的异常流量检测方法研究_黎文伟.pdf

第 50 卷 第 2 期2 0 2 3 年 2 月Vol.50，No.2Feb.2 0 2 3湖 南 大 学 学 报（自 然 科 学 版）Journal of Hunan University（Natural Sciences）基于MeAEG-Net的异常流量检测方法研究黎文伟 1，2，岳子乔 1，王涛 31.湖南大学 信息科学与工程学院，湖南 长沙 410082；2.区块链底层技术及应用湖南省重点实验室（湖南大学），湖南 长沙 410012；3.湖南城市学院 信息科学与工程学院，湖南 益阳 413000摘 要：异常流量检测现有方法大都是基于有监督的学习，在现实生活中获取并标记异常流量数据样本是极为困难的，存在诸多限制.此外，由于网络异常数据的多样性和复杂性，各种检测方法的自适应性较差，对新出现的异常流量难以判断.针对上述问题，本文设计了一个基于生成对抗网络和记忆增强模块的半监督异常流量检测框架MeAEG-Net（Memory Augment Based on Generative Adversarial Network），通过只训练正常流量样本数据，比较生成器模块输入流量底层特征的重构误差来达到检测异常的目的.在模型中使用生成对抗网络来更好地训练生成器，生成器采用自编码器加解码器的结构来解决自编码器易受噪声影响的问题，并在自编码器子网络中添加记忆增强模块来削弱生成器模块的泛化能力，增大异常流量的重构误差.实验证明，本文提出的方法能在只学习正常流量数据样本的前提下达到很好的异常流量检测效果.关键词：异常流量检测；生成对抗网络；记忆增强模块；重构误差；半监督学习中图分类号：TP393 文献标志码：AResearch on Abnormal Traffic Detection Method Based on Memory Augment-generative Adversarial NetworkLI Wenwei1，2，YUE Ziqiao1，WANG Tao31.College of Computer Science and Electronic Engineering，Hunan University，Changsha 410082，China；2.Hunan Provincial Key Laboratory of Blockchain Infrastructure and Application（Hunan University），Changsha 410012，China；3.School of Information Science and Engineering，Hunan City University，Yiyang 413000，ChinaAbstract：Most of the existing abnormal traffic methods are based on supervised learning.It is extremely difficult to obtain and mark abnormal traffic data samples in real life，and there are many limitations.In addition，due to the diversity and complexity of abnormal network data，the adaptability of various detection methods is poor，and it is difficult to judge the new abnormal traffic.Based on the above problems，this paper designs a semi-supervised abnormal flow detection framework，MeAEG-Net（Memory Augment Based on Generative Adversarial Network），to detect anomalies by training only normal flow sample data and comparing the reconstruction errors of the underlying 收稿日期：2022-04-12基金项目：湖南创新型省份建设专项经费项目（2020GK2006，2020GK2007），Special Funds for Construction of Innovative Provinces in Hunan Province of China（2020GK2006，2020GK2007）作者简介：黎文伟（1975），男，湖南沅江人，湖南大学副教授，博士 通信联系人，E-mail：文章编号：1674-2974（2023）02-0063-11DOI：10.16339/ki.hdxbzkb.2023266湖南大学学报（自然科学版）2023 年characteristics of input flow of generator module.A generative adversarial network is used in the model to better train the generator.The generator adopts the structure of an autoencoder and decoder to solve the problem that the autoencoder is susceptible to noise.The memory-augmented module is added to the sub-network of the autoencoder to weaken the generalization ability of the generator module and increase the reconstruction error of abnormal traffic.Experimental results show that the method proposed in this paper can achieve a good effect on abnormal traffic detection under the premise of learning only normal traffic data samples.Finally，the future research direction and challenges have been prospected.Key words：abnormal traffic detection；generative adversarial network；memory augment module；reconstruction errors；semi-supervised learning网络异常检测的主要目的就是发现流量异常，以保证网络空间的安全.异常流量的检测通常可以被看作流量的分类问题，逻辑回归、决策树、支持向量机（Support Vector Machine，SVM）等都是经常被用来进行异常流量检测的机器学习方法.随着机器性能的提升和数据量的增加，深度学习在异常检测领域也得到了广泛的应用，并取得了不错的成绩1-3.深度学习快速发展的同时也促进了图像识别等领域的突破4-5，这些领域的深度学习方法一般也被用于分类和异常检测，因此为人们提供了一些思路，可以结合其他领域的知识进行异常流量检测的探索.异常流量检测可以监控网络状态，判断当前网络是否正常，对确保网络安全具有非常重要的价值6-7.基于网络异常检测的研究非常多，但是由于网络异常数据的多样性和复杂性，各种检测方法的自适应性较差，对新出现的异常流量难以判断.除此之外，当前的机器学习和深度学习算法都是基于包括正常数据和异常数据在内的所有数据的学习.正常流量样本数据在现实世界中数量多且易于获得，但获取并标记异常流量数据样本却极为困难.因此，通过半监督学习，本文对异常流量检测问题展开研究，主要贡献如下：设计了一种基于生成对抗网络的异常流量检测模型，在提出的网络模型中，利用生成对抗网络的思想来更好地训练生成器.生成器由编码-解码-编码的网络结构组成，不同于一般的基于自编码器的异常检测方法，该模型通过比较输入数据的底层特征与生成数据的底层特征之间的重构误差进行异常检测，解决了自编码器结构易受噪声影响的问题.在网络结构中利用适当的批量正规化操作和激活函数来提升网络的性能，使用卷积操作替代池化层，避免关键特征的丢失.实验结果表明，该模型在只学习正常流量数据样本分布的前提下，能够取得非常不错的效果，尤其在分布不均衡的数据集中.在本文提出的基于生成对抗网络的异常流量检测模型中引入了记忆增强模块，记忆增强模块添加在生成器的编码器子模块后.在记忆增强模块中，使用一个记忆矩阵保存训练阶段的底层特征，当输入一个流量数据时，通过记忆矩阵对该数据的底层特征进行加权求和，使该数据的底层特征更贴近训练阶段正常流量数据样本的底层特征，从而导致输入的异常流量数据能够有更大的重构误差，以进一步提高模型的检测性能.实验结果证明，引入了记忆增强模块能够有更好的检测效果.1 相关工作在传统的各种异常检测方法中，支持向量机被认为是分类异常行为的最佳机器学习算法之一.在机器学习最早被应用在异常流量检测的文献中，Kim等人8提出了一种基于支持向量机的异常流量检测方法，通过KDD 99数据集上的测试，证明了将支持向量机用于异常流量检测是一种有效的方法.贝叶斯网络是一种概率图形模型，是不确定知识表达和推理领域最有效的理论模型之一.Moore等人9使用朴素贝叶斯（Naive Bayesian，NB）的方法对网络流量按照应用分类，在使用最简单的朴素贝叶斯分类器上，能够达到65%的准确率.Williams等人10使用朴素贝叶斯、C4.5决策树、贝叶斯网络和朴素贝叶斯树等算法演示了基于一致性和基于相关性的特征选择对特征集约简的性能影响，证明了分类算法虽然相似但是对于分类的效果却是显著不同.64第 2 期黎文伟等：基于MeAEG-Net的异常流量检测方法研究随着计算机性能的增强和数据规模的扩大，深度学习（Deep Learning，DL）开始作为机器学习的一个研究方向且越来越火热，它能够学习数据的内在特征和规律，属于一种复杂的机器学习，在矩阵检测等方面远远超过了当前的相关技术.Javaid等人11提出了一种基于深度学习框架的异常流量检测方法，他们基于模糊神经网络设计了一种自主学习系统，并在NSL-KDD基准数据集上进行了性能的比较，能够达到88%的正确率.An等人12提出变分自编码器模型，在NSL-KDD基准数据集上进行实验，基于输入数据的重建概率判断是否属于异常流量，取得了比PCA和AE模型更高的检测性能.在使用全连接神经网络构建异常流量检测系统时，在NSL-KDD数据集上的二分类正确率能够达到81.2%.高妮等人13提出了一种结合自动编码器和支持向量机的异常流量检测模型（AN-SVM），首先通过自动编码器学习到数据分布的底层特征，降低维度，接着使用支持向量机进行异常流量检测，在减少了模型训练时间的同时提高了检测的正确率.Wang等人14提出一种基于卷积神经网络的异常流量检测模型，将网络流量预处理为二维矩阵作为输入，通过模型提取流量的底层特征，实现端到端的异常流量检测.生成对抗网络是由Goodfellow等人15在2014年提出来的一种机器学习架构，被认为是近几年来在复杂数据的分布上进行无监督学习最具有前景的方法之一.生成对抗网络由生成器和判别器两部分组成，生成器负责生成与输入样本数据相似的伪样本，判别器负责判断生成样本和输入样本的真伪，在训练过程中，通过生成器和判别器彼此的对抗，最终达到纳什