2023年公安网网络流量大数据分析要领.doc

公安网网络流量大数据分析要领 　 公安网网络流量大数据分析和管控项目需求书目录1项目概述41.1项目背景41.2解决思路41.3项目目标51.4建设原那么71.4.1参考标准71.4.2可靠性及可用性71.4.3安全性81.4.4成熟性81.4.5先进性81.4.6可扩展性82架构描述82.1整体架构82.2功能架构92.2.1应用层112.2.2接口层112.2.3分析效劳层112.2.4数据资源层112.2.5根底设施层122.2.6数据可视化122.2.7数据交换122.2.8流量采集132.2.9运维管理132.2.10安全管理133平台建设需求133.1业务门户功能需求143.1.1业务功能需求143.1.2门户管理功能需求143.2业务功能需求163.2.1应用识别163.2.2流量展示及异常流量识别173.2.3流量智能调度193.2.4用户画像213.2.5应用关联关系273.2.6应用画像293.2.7精准推送333.2.8行为识别353.3数据可视化需求373.4大数据处理分析组件建设需求383.4.1数据效劳模块建设要求393.4.2大数据分析算法库建设要求393.4.3分布式存储建设要求463.4.4分布式并行处理建设要求463.4.5实时内存分析处理建设要求463.4.6实时分析结果查询建设要求463.5ETL工具建设需求463.6实时流量数据收集建设需求473.7根底设施建设需求473.8数据交换组件需求473.9安全管理需求473.10运维管理需求494数据采集建设需求494.1采集器部署要求★494.2采集器数据采集方案504.3流量控制调度能力要求504.4采集器性能及可靠性511项目概述1.1项目背景目前内网运行管理中面临以下三方面挑战：1.流量分布不均流量分布不均体现在，忙闲时流量差距较大、区域性流量差距较大和流入流出差距较大。造成此类问题的主要原因不是链路资源缺乏，而是数据资源分布不均。因此，现有扩容链路是解决拥塞问题的方法之一，优点是效果明显，升级链路后拥塞能够得到有效缓解，但是无法从根源去解决此类问题。2.应用效劳质量保障不到位随着应用的不断开展，局部业务系统的效劳范围和可靠性要求提出了新的要求。一方面，随着应用的广泛使用，内网上系统的数量、种类和系统数据量在大幅增加。在此背景下，内网按照原有的网络设计承载能力和数据转发机制上，无法发挥现有网络传输能力和利用带宽资源，易发生网络拥塞和效劳质量下降等情况。另一方面，业务系统的效劳质量和效劳要求已经不满足于畅通率的指标，而对网络传输质量、带宽保障和延迟等提出了新的要求。现有运维手段无法满足此类保障要求。3.网络管控手段有限，时效性不强随着应用的快速开展，网络效劳内容也在发生更本性变化。从最初的提供数据传输管道，到提供更好的网络传输质量保障。目前主干网在网络流量管控、调度方面，存在缺乏，传统的QOS需要网络全程部署，精准度低、调整范围广、工作量大，无法满足现阶段内网运营管理需求。尤其是针对突发流量导致的网络拥塞、网络设备或者链路故障导致传输能力下降、临时提出的固定时间、固定区域的网络保障要求等问题时，没有高效的流量调度和管控手段。即使发现问题，无法第一时间精准管控和调度。1.2解决思路针对内网运行管理中面临的，应从三个方面进行解决，具体内容如下：首先，应该做到能够准确了解内网中的流量，分析内网的各个链路的流量中，都有哪些数据和应用、每个应用的流量大小、效劳时段、效劳的质量如何、这个应用在为哪些系统和用户在效劳，以及详细的流量信息，便于开展流量的调度和应用效劳保障策略的制定。其次应该能够准确预测流量，这个预测不是简单的通过现有的今年流量数据和曲线去测算明年的流量，而是通过对应用分类，针对各个应用的流量、效劳时段和效劳质量，去测算每个应用的流量趋势，再通过汇总，可以精准的评估出内网每条链路每个时段的流量大小和趋势。一方面可以更为精准的预测流量，为链路扩容和网络流量调度提供更为精准的数据支持，另一方面，也可以为重点应用效劳保障策略提供准确的数据支持。再次应该能够准确管控流量。管控不是关停相关效劳，也不是按照传统网络策略采取的丢包式的牺牲策略。而是通过对不同应用的网络需求，制定不同的调度和管理方案。例如，对网络延迟较敏感的实时类应用，提供较高的带宽保证传输质量，对于网络速度不敏感的应用，按照时段或者按照带宽利用率动态限制占用的带宽大小，保证应用正常使用的前提下，合理利用内网带宽资源，对于备份类和非工作时段的数据传输，调度到非忙时传输，对于本地数据资源丰富的，推送相关本地资源信息，防止异地查询或者下载，占用广域网资源等最后做好重点应用的效劳和保障工作。一方面是通过精准的流量预测和智能的调度和管控确保提供足够的可靠的网络资源，另一方面，按照应用的关联关系，对应用效劳所需的整个应用和资源组提供所需的关联效劳和保障。通过定制的行为识别还可以为应用提供更广泛的效劳和保障。1.3项目目标本项目目标包括两个方面：业务目标和建设目标，其中业务目标包括三个方面：智能化流量趋势分析、全网流量智能调度和重点应用智能化保障：项目业务目标精准的流量趋势分析：1)能够对指定链路、指定某个应用或某类应用，通过数据挖掘算法，智能化进行指定周期〔例如五年后〕的指定时段〔例如全天时段、或者白天时段〕的流量趋势预测；2)能通过系统可视化能力，用户可通过界面选择操作(例如界面上选择指定周期、指定时段)，进行分析结果的图形化展示。整个业务场景需要使用的业务模型：应用画像、流量预测。整个业务场景的实现中，使用的分析方法有：简单统计类：链路指定时段的流量、指定应用的指定时段的流量，用户访问量，跨域访问量等数据挖掘类：链路的流向趋势，链路的应用分布应用的用户地域分布；智能分析类：应用画像之分类流量预测。全网流量智能调度1)全网流量规划：通过应用画像及流量的可视化能力，可以从整体分析全网络流量的现状，通过查看链路的流量流向信息，链路上具体的应用分类情况，可以指定整个网络整体的流量规划。通过实时分析数据和预测数据进行流量控制规那么生成，分析方法中统计类的包括链路流量趋势，链路的流向趋势，链路的应用分，智能分析类的包括全网流量趋势预测，应用分类。2)根据规划生成流量策略，检测如果链路流量不符合流量规划，那么采用精准推送方式提醒流量使用者。流量规划策略可包括流量的分时段使用带宽要求，应用的分地域使用带宽要求，链路带宽阈值要求。3)紧急情况流量管控，当网络中发生拥塞，或预测网络中发生拥塞，那么通知用户或直接对采集器下发流量控制策略，可以对低价值应用进行控制或疏导〔CAR，打标签通过策略路由转发〕，同时对高价值应用进行业务策略保证〔配置Qos策略〕4)整个业务需要使用的业务模型：流量趋势分析、应用画像、精准推送、流量智能管控。重点应用智能化保障1)通过对应用系统的分析，对整个应用系统使用的带宽情况，支撑此应用系统的带宽使用情况进行分析，对采集器下发QoE策略，对应用系统对外提供效劳的带宽和支撑应用系统使用的带宽进行保障。2)整个分析采用统计方法的是应用的带宽使用情况，支撑系统的带宽情况。采用挖掘和智能分析方法的是应用关系，流量趋势预测。3)整个业务需要使用的业务模型：流量趋势分析、应用画像、流量智能管控。项目建设目标构建网络大数据分析平台，基于领先的大数据处理技术，实现对海量网络流量数据的存储、统计分析和深度学习；实现针对网络流量数据的数据挖掘和深度分析模型和算法库；建立模型库：通过大数据分析的方法，设计符合内网趋势和研究方向的网络流量数据分析模型，并通过通过大数据分析算法库，将业务模型固化实现，支撑网络运维工作开展。构建基于全网的易于部署的高性能数据采集器，采集器需要支持海量的数据提取及预处理能力，支持完善的包检测及丰富的自定义能力，满足大数据平台的数据采集要求。通过系统建设提供丰富的功能，系统提供大数据分析，用户画像，应用画像，关联关系分析等功能，提供内网检测，信息推送，流量管理等主动控制功能。通过关键项进行综合评分，提供全面的信息化程度展现。相关工作需要对全量的网络数据和应用信息进行相应的梳理、归类，采用大数据的技术和理念进行深度分析，可以获得新的有价值的信息，发现其中的规律和趋势，挖掘数据中内在的价值，将网络运维工作带入一个新的领域。一方面在运维思路上，将从关注“网络通断〞的传统运维管理提升到关注“网络流量内容〞的智能化、精细化的网络管理；另一方面将从原有的故障事后处理的被动响应转化为故障事前预测，通过趋势分析结合智能管控手段，有效的防止异常的出现，实现网络运维的主动性预防。1.4建设原那么网络大数据分析平台应利用当前主流的大数据技术构建，严格遵循国家相关标准，在技术上领先，系统具备高可靠性、高安全性和高可用性，软件架构成熟，应用技术和模式具有先进性，平台具备动态扩展能力。1.4.1参考标准网络大数据分析平台必须遵循相关国家和行业标准标准，包括但不限于如下的列表。国家信息化“九五〞规划和2023年远景目标〔纲要〕国家信息化领导小组关于我国电子政务建设指导意见〔中办发[2023]17号〕电子政务工程技术指南〔国信办[2023]2号〕电子政务标准指南，国信办和国家标准委员会，2023年5月电子政务标准化指南总那么〔国标委高新[2023]42号〕信息系统安全等级保护定级指南GB-T 22240-2023信息系统安全保护等级根本要求GB-T 22239-2023信息系统安全等级保护实施指南GB-T 25058-2023信息系统等级保护安全设计技术要求GB-T 25070-2023计算机信息系统安全保护划分准那么GB17859-1999信息系统安全等级保护测评准那么送审稿涉及国家秘密的计算机信息系统安全保密方案设计指南，国家保密局，2023年4月涉及国家秘密的计算机信息系统安全保密技术要求，国家保密局，2023年7月计算机软件工程标准国家标准汇编 GB8567-88计算机软件产品开发文件编制指南 GB/T 8567-1988计算机软件需求说明编制指南 GB/T 9385-1988计算机件分类与代码 GB/T 13702-1992软件工程术语 GB/T 11457-19951.4.2可靠性及可用性网络大数据分析平台的可靠性包括整体可靠性、数据可靠性和单一设备可靠性三个层次。通过大数据平台的分布式计算、分布式存储架构，从整体系统上提高可靠性，降低系统对单设备可靠性的要求。可用性是通过冗余、高可用集群、应用与底层设备松耦合等特性来体现。在网络大数据分析平台规划设计、设备选型/配置中大量采用了硬件设备冗余、网络链路冗余、应用容错等手段，充分保证了整体系统的可用性。1.4.3安全性遵循行业安全标准，设计安全防护保证大数据分析平台安全。重点保障网络安全、主机安全、虚拟化安全、数据保护。1.4.4成熟性从架构设计、软硬件选型和IT管理三个方面设计网络大数据分析平台解决方案，采用经过大规模商用实践检验的架构方案和软硬件产品选型，采用符合ITIL标准的IT管理方案，保障方案的成熟性。1.4.5先进性合理利用大数据的技术先进性和理念先进性，资源动态部署等先进技术与模式，并与网络大数据分析业务相结合，确保先进技术与模式应用的有效与适用。1.4.6可扩展性支撑网络大数据分析平台的资源需要根据业务应用工作负荷需求进行弹性伸缩，IT根底架构应与业务系统松耦合，这样在业务系统进行容量扩展时，只需增加相应数量的IT硬件设备，即可实现系统的灵活扩展。2架构描述2.1整体架构本项目整体架构图如以下列图所示，首先由网络流量采集器采集实时流量数据，通过实时流量数据收集模块，将实时采集的流量数据存储本地之后，通过大数据平台的ETL工具，完成数据的清洗、装换，之后装载至大数据处理平台，进行处理分析。基于大数据的处理技术，构建符合智能网络管理需求的大数据分析业务模型，包括用户画像、应用画像、关系分析、流量预测、精准推送和定制行为识别等，对网络流量数据进行大数