２０２３年７月第４４卷第７期计算机工程与设计ＣＯＭＰＵＴＥＲＥＮＧＩＮＥＥＲＩＮＧＡＮＤＤＥＳＩＧＮＪｕｌｙ２０２３Ｖｏｌ．４４■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■Ｎｏ．７基于大数据平台的网络日志机器行为分析陈涵１，张仰森１，２＋，何梓源１，祁浩家１，黄改娟１，２（１．北京信息科技大学智能信息处理研究所，北京１００１９２；２．北京交通大学国家经济安全预警工程北京实验室，北京１０００４４）摘要：为从海量日志中分析并提取可能存在的机器行为日志，应用概率统计和Ｋ－ｍｅａｎｓ算法对网络日志进行分析，提出基于多阶段层次化判别的ＣｈｅｎＲＦ模型，共包含两部分内容，分别为基于特征规则和阈值匹配的机器行为判定模型与基于Ｂｉ－ＬＳＴＭ＋Ａｔｔｅｎｔｉｏｎ的机器行为识别模型。应用Ｓｐａｒｋ批处理框架，对所提模型进行算法实现，构建以一小时为单位的分布式网络日志批处理分析平台。在１万和千万级别规模的数据上，对构建的大数据日志分析处理平台进行测试，验证了所提模型的有效性。关键词：网络日志；超文本传输协议；机器行为识别；数据分析与挖掘；深度学习；分布式存储技术；大数据计算技术中图法分类号：ＴＰ３９１．１文献标识号：Ａ文章编号：１０００－７０２４（２０２３）０７－２２３２－１０ｄｏｉ：１０．１６２０８／ｊ．ｉｓｓｎ１０００－７０２４．２０２３．０７．０４１收稿日期：２０２１－１１－１８；修订日期：２０２３－０６－１９基金项目：国家自然科学基金项目（６２１７６０２３）作者简介：陈涵（１９９６），男，北京人，硕士研究生，研究方向为网络空间安全；＋通讯作者：张仰森（１９６２），男，山西运城人，博士，教授，ＣＣＦ杰出会员，研究方向为人工智能、自然语言处理、网络内容安全；何梓源（１９９４），男，北京人，硕士研究生，研究方向为自然语言处理；祁浩家（１９９５），男，河北沧州人，硕士研究生，研究方向为网络空间安全；黄改娟（１９６４），女，山西运城人，高级实验师，研究方向为自然语言处理。Ｅ－ｍａｉｌ：９０６０７３７４９＠ｑｑ．ｃｏｍＮｅｔｗｏｒｋｌｏｇｍａｃｈｉｎｅｂｅｈａｖｉｏｒａｎａｌｙｓｉｓｂａｓｅｄｏｎｂｉｇｄａｔａｐｌａｔｆｏｒｍＣＨＥＮＨａｎ１，ＺＨＡＮＧＹａｎｇ－ｓｅｎ１，２＋，ＨＥＺｉ－ｙｕａｎ１，ＱＩＨａｏ－ｊｉａ１，ＨＵＡＮＧ...
