基于人工智能的大数据技术分析_徐霁堂.pdf

Application 创新应用374 电子技术 第 52 卷 第 4 期（总第 557 期）2023 年 4 月息，更加精准，成为有价值的信息。为了提取信息，必须对大量的数据进行处理。（2）人工智能与Python。人工智能（AI）主要研究人的思想和意识，而这些活动都是由计算机进行仿真、数学运算和分析而完成的。人工智能包含了两大主要模块：机器学习与深度学习。要建立一个模型，必须利用Python的爬行器技术，从因特网上获得除企业数据之外的其他数据，这就要求应用诸如Requests、Scrapy、Selenium、BeautifulSoup之类的库。在获取了数据之后，机器学习和深度学习可以进行。Python是机器学习、深度学习和大部分人工智能领域的基本语言。2 基于人工智能的大数据发现网络技术设计大数据的网络扫描处理。网络扫描是利用电子科技对一些数据信息进行快速的识别和读取，从而使未被许可的资料能够被检验。它的目的是为了加速数据的校验和数据的安全性，但是人工智能技术的工作人员很难找到这些资料。因此，为了尽快滤清资料，还需要对其精准的分类，为后续的信息管理工作进行考虑。在此过程中所使用的参量称为解析度，对于扫描来说是至关重要的。大数据信息的提取。大数据信息的提取能够支持在众多网络数据的基础上提取想要的信息。类似于百度百科的搜索，淘宝的猜你喜欢以及抖音的筛0 引言大数据分析能够应用到各行各业中，对社会以及国家的发展起到积极的促进作用。例如其强大的数据收集和归纳功能，能够在庞大的数据库中精准的挑选出想要的资料，从而使产业和经济的结构发生变化，使我们的经济得到新的发展。另外，利用大数据技术与人工智能技术相结合，使智能制造在社会生产中得到了广泛的应用，为制造业的转型做出重要的贡献。1 研究背景技术路线。当前科技的研发在人工智能和大数据技术的支持下越发快速，像是智能家居以及智能建筑的发展，都依托于大人工智能和大数据分析技术。对信息进行实时、动态的收集，并对社会的需要进行综合、分析，最佳的决策。从数据采集到数据分析都能够减少人工费用，提升整体的工作效率。（1）大数据与Hadoop。按照麦肯锡国际研究所的定义，大数据通常是一组没有结构的数据，这些数据足够捕获、存储、分析和处理超过常规的数据处理工具的能力。Hadoop是一个分布式的HDFS文件系统。最初的目的是将海量的数据存储到几百个电脑中。HDFS是为解决数据储存问题而设计的一个系统。首先，需要处理的是数据的储存。大数据分析技术则在此基础上进行了优化升级，使采集到的信基金项目：中国高校产学研创新基金北创助教项目（二期）（2021BCE02010）。作者简介：徐霁堂，天津渤海职业技术学院，副教授，硕士；研究方向：人工智能技术应用。收稿日期：2022-12-09；修回日期：2023-04-12。摘要：阐述大数据分析的技术路线，基于人工智能的大数据发现网络技术设计，人工智能技术与大数据分析方法的融合，包括基于机器学习、深度学习的大数据分析，探讨大数据分析中的分布式群体智能算法。关键词：大数据分析，人工智能，机器学习，深度学习，群体智能算法。中图分类号：TP311.52，TP183文章编号：1000-0755(2023)04-0374-02文献引用格式：徐霁堂.基于人工智能的大数据技术分析J.电子技术,2023,52(04):374-375.基于人工智能的大数据技术分析徐霁堂（天津渤海职业技术学院，天津 300408）Abstract This paper expounds the technical route of big data analysis,the design of big data discovery network technology based on artificial intelligence,the integration of artificial intelligence technology and big data analysis methods,including big data analysis based on machine learning and deep learning,and discusses the distributed swarm intelligence algorithm in big data analysis.Index Terms big data analysis,artificial intelligence,machine learning,deep learning,swarm intelligence algorithm.Analysis of Big Data Technology Based on Artificial IntelligenceXU Jitang(Tianjin Bohai Vocational and Technical College,Tianjin 300408,China.)Application 创新应用电子技术 第 52 卷 第 4 期（总第 557 期）2023 年 4 月 375选喜好等功能。基于人工智能的大数据分析系统，其主要思想是：对已抽取的用户访问数据进行预处理，再根据用户的特征进行筛选。数据分析方法。（1）聚类分析法。聚类分析的主要特征是将基于相似度的数据进行归类，从而实现数据的分割。这个方法可以深入地研究表面上混乱的资料，把资料按照分析的目的分成几个小组。其次，通过数据间的关联性，挖掘出有用的信息，从而挖掘出其潜在的价值。由于数据的个体化，导致了在统计过程中无法进行数据的分析和识别。（2）人工神经网络分析方法。人工神经网络分析（ANN）是一种对大量的数据进行分析、提取、利用，并利用这些数据进行处理的一种方法。比如：ANN方法主要是对数学模型进行建模，而输入神经网络所得到的数据均为数值型。在采集有关资料时，需要结合网络分析技术的具体内容，分析保证人工智能技术的运用。（3）相关性分析方法。关联分析方法是对一些资料中存在的或者是潜在的相关联的信息数据进行关联分析，在诸多的数据信息基础上进行搜索，以满足信息关联需求，从而挖掘出隐藏的资料。这种信息技术可用在刑侦案件的侦破方面，使资料具有关联性。这种方法在精度和目标上都有较大的优势，因而在数据的准确分析中得到了广泛的应用。（4）特征数据分析方法。数据特征分析能够以质量为分析前提，通过使用特殊的关联特征集合等方法，可以获得与之前预测的数据比较接近的结果。这种分析方法更适用于海量的资源筛选，以基础特征作为筛选的要素，更好地完成资料分析。当前社会的发展，信息传播与传输最为主要，将特征数据分析用好，能够使得数据的处理与分析变得更加简单。确定大数据发现的属性。要想让大数据更易于辨识，就必须尽量全面地描述大数据的特征，而对海量数据进行准确的描述。此外，由于大数据的输出是一组数据，因此为了适应用户的不同要求，需要定义大量的运算。所以，必须对大数据的识别数据源进行界定，以满足用户的具体需求。实现大数据检测网络的建设。大数据分析技术能够维护网络环境的安全。利用网络发现技术加速了数据的确认，确保了数据的安全性，并通过抽取大量的数据来判断其特征。在大数据发现的基础上，实现了海量信息的抽取；通过利用大数据来判断属性，实现了对大数据的探测。相关的互联网企业能够利用大数据检测网络技术，为企业的信息安全提供保障。3 基于人工智能技术的大数据分析方法 机器学习的大数据分析。机器学习是智能化的重要体现之一。技术人员运用机器学习技术，对目前的大数据分析技术进行了有效的探讨，从而改善了目前的工作质量。研究者们从四个方面着手，即大数据聚类、关联分析、分类和预测。因此，在运用机器学习技术进行大数据分析时，必须考虑当前的现实状况，并将其应用于现实生活。例如，利用传统的聚类算法从庞大的信息数据库中提取或者是筛选一些内容，以帮助其进行重新组合，来完成信息分析的目标。在这些框架中，MapReduce是当前最主要的分布式计算架构，它可以帮助研究者利用机器学习进行数据分析。在对传统的聚类算法进行研究时，研究工作相当烦琐。深度学习的大数据分析。目前的大数据研究着重于深度学习和相应地改进电脑运行的品质。深度学习是人工智能技术发展的核心，需要企业员工在进行模型训练时，不断地对不同的阈值、参数进行反复计算，满足计算机智能化建设的需求。而对于信息的安全管理方面，也需要以深层的网络需求为准，为大数据分析提供指导。当前，深度学习技术在国内的应用已经取得了长足的进步，为国家的经济、工业发展提供了强有力的支持。以Spark为基础的分布式平台，通过对存储量的计算，逐步建立了一个深度网络，从而提高了系统的分析效率，从而为目前的研究提供了一个新的思路。通过对海量数据进行分类，利用深度学习-训练的方法，对不同的数据进行迭代运算，以改善现有的工作质量。因此，要全面的提升工作质量，还需要构建良好的技术分析系统，进而建立大数据。大数据分析中的计算智能。大规模的群体智能算法是分布式计算中的重要分支，经常被应用到大数据的分析中。当前，可以根据PSO技术对海量数据进行高效的处理。在此阶段，研究者根据资料分解和合并的策略，对不同的样本进行分割，保证了原始资料的传输，使各子集合得到有效的整合，使得大数据的处理效率得到了极大的提升。4 结语大数据检测技术是以海量数据为基础，通过对海量数据的分析，抽取用户的浏览量，并确定其特征，建立一个基于大数据的大型数据检测网络。检测到的技术识别数据进行了验证，希望通过本论文的工作，能够对数据的识别和处理提供一定的技术支持。参考文献1 李龙.大数据时代人工智能在网络中的应用J.计算机与网络,2021,47(17):45-46.2 冯文浩.大数据时代人工智能在计算机网络技术中的运用探讨J.电子制作,2017(13):98-99.3 程聪,王永根.人工智能技术的大数据分析方法探讨J.信息记录材料,2020,21(05):128-130.