大数据技术在智慧校园信息化建设中的应用研究_李新平.pdf

2023.4电脑编程技巧与维护1概述智慧校园是互联网技术、人工智能技术、大数据技术及云计算技术的相互融合，打造一种环境全面感知、智慧型、数据化、网络化、协作型一体化的教学、科研、管理和生活服务的智慧学习环境1。智慧校园深度融合信息化与产学研一体化和教育教学，提高高校办学能力及治理能力，提升高校信息化建设水平，成为高校信息化建设的主要建设进程之一。智慧校园的建设，为高校教师的教育教学提供了完善的教学工具、完备的教学资源。2智慧校园发展现状早期的高校信息化是以校园网硬件为基础，建立高校各业务系统，各业务系统之间相互独立，业务数据之间没有统一标准。随着办学时间的推移，业务系统之间的相互独立，成为高校业务办理的阻碍，业务需要线下办理并手动录入系统，容易出现业务数据不完善甚至产生偏差的情况，并且日益增长的数据如果不能及时治理，就会造成业务数据堆积冗余、数据关系错综复杂，进而使高校业务办理效率低下。智慧校园的建设打破了各业务系统之间的壁垒，数据通过数据中心在各业务系统之间流转，“信息孤岛”现象不复存在，数据得到了治理，在大数据技术和云计算技术的支持下对庞大的数据进行存储、挖掘、分析及应用，为完善智慧校园建设、高校办学及治理提供有效的数据支持，形成良性循环。在智慧校园建设基础上，分析大数据技术在智慧校园建设过程中高校大数据平台建设遇到的问题，设计数据中心和大数据平台框架体系，研究大数据技术在高校治理业务系统中的应用。3大数据科技发展让数据量以几何级的速度增长，传统的数据库已无法满足日益增长的数据，大数据由此产生。大数据是指一定时间范围内无法通过人工或计算机进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力2。大数据的典型特点被总结为4个“V”，分别是规模性（Volume）、多样性（Variety）、高速性（Velocity）和价值性（Value）3。3.1规模性规模性体现在数据量巨大方面。随着科技的发展，数据量呈爆发式增长，各领域的数据量开始以EBZB衡量。例如，某一时期，淘宝平台商铺日均商品交易数据量达20 TB；设计平台Facebook的用户，日均产生日志数据超过300 TB；百度搜索日均超3.5亿次搜索；抖音日均访问量突破4亿；微博日活跃数量达2.29亿。3.2多样性多样性是指数据的类型多样性，形成这种特点的根源是数据来源的多样性，常见的来源有图片、音频、视频、文本、邮件等。庞大的数据量根据数据关系可分为3类：结构化数据、非结构化数据、半结构化数据。例如，各种系统数据大多是结构化数据4。3.3高速性高速性体现在数据的增长速度及处理速度上大数据的输入、分析、处理是通过互联网、云计算的方式实现的，面对大数据的数据规模，要实现实时输入、分析、处理的效果，就需要有高速的数据处理速度。3.4价值性价值性是大数据的核心特点。挖掘海量数据内在的能展现当前形式并预测未来趋势和模式的数据，而在海量的数据中，有大量的数据是没有价值的。为了获取这作者简介：李新平（1996），男，助理工程师，硕士，研究方向为计算机技术、高等教育学。大数据技术在智慧校园信息化建设中的应用研究李新平（徐州工业职业技术学院，江苏 徐州221140）摘要：大数据技术被广泛应用于社会各行业中，为行业提供精准的数据支撑和决策支持。智慧校园作为高校教育信息化建设过程中的主要建设项目之一，能够为高校的教育、教学提供便利，提高高校教育教学水平。在智慧校园建设过程中，利用大数据技术对高校大数据深入挖掘分析，不断完善大数据应用，为高校的发展历程和现状提供数据分析，为高校未来发展奠定基础。关键词：智慧校园；大数据；大数据应用93DOI:10.16184/prg.2023.04.0452023.4电脑编程技巧与维护其中的有效数据，就需要大数据技术对海量数据进行处理，因此价值性是大数据的核心特点。4大数据技术在智慧校园建设中的应用研究4.1应用中面临的问题如今，大数据技术对行业发展愈发重要。如今大数据已渗透进社会各行业中，其中，信息技术产业和大数据产生了更为密切的联系。随着高校信息化的不断发展，高校师生的日常管理和学习数据被系统记录存储，产生了大量复杂、异构的教育数据，但是此类数据不能被轻松使用和处理，因此，大数据技术与高校信息化进行融合，从而产生教育大数据，人们开始对教育大数据进行深度数据挖掘与分析，利用教育大数据反映高校信息化的发展程度，高校数据进入了大数据时代。但是，目前大数据技术在高校信息化建设中的应用还在不断前进中，面临着如下问题。（1）数据存储缺乏共享。大数据平台是一个几乎可以容纳所有业务系统的平台，对容纳的业务系统数据进行挖掘和分析。高校建设了各业务系统，例如，教务系统、人事系统、学工系统、科研系统等，系统存储着历年积累的海量数据资源，这些数据原本是独立于各业务系统，在对大数据进行数据资源的整合、数据采集、预处理、存储、分析与应用时，需要各业务系统的数据共享，否则在进行数据管理时，效率低下，数据无法得到有效利用，数据分析凸显的价值较低，大数据平台的数据分析能力及作用无法完全发挥。因此，解决业务数据存储孤立是建设大数据平台首要解决的问题。（2）数据处理类型复杂。由于数据产生的方式及生成的数据格式更多元化，在所有数据中呈现出的非结构化数据量远大于其他数据量。虽然非结构化数据中包含着很多具有价值的信息，但是非结构化数据与传统的结构化数据在数据分析和挖掘方面相比，其异构和可变的性质为数据处理工作的开展带来了更多的困难。非结构化数据虽然包含着很多具有价值的信息，但是同样也蕴含着较多的无效信息，这些非结构化数据，包括文本、文档、图形、视频等格式，类型复杂，给数据的处理带来了挑战。因此，在大数据处理分析中，对数据清洗、剔除脏数据成为大数据平台建设面临的另一个难题。（3）数据分析维度单一。学校建设各业务系统的目的是实现业务工作管理的信息化，建设大数据平台是为了整合各业务系统数据资源，分析经过处理采集所得数据后的数据变化趋势，总结变化规律，预测未来走势。数据分析的维度并不是单一的，而多维数据分析是指对数据进行观察和分析时，从多个维度对多维形式的数据进行切片、切块、聚合、钻取、旋转等操作，以求剖析数据。目前，大数据技术的发展较为成熟，已经应用到社会的方方面面，但由于智慧校园建设还处于快速发展的过程中，若要将大数据技术应用到各类系统中，则每个需要分析的数据都需要从不同的维度切入，数据能体现价值的维度是多重的，每个需要大数据分析的维度还在挖掘中。4.2大数据平台建设在智慧校园大数据背景下，为了使具有复杂数据类型特征的海量、多样化数据得到有效存储、快速读取及分析挖掘，需要设计一套大数据方案。首先要建设数据中心，实现对业务系统数据的采集与共享，各业务系统根据不同需要，从数据中心中提取数据，做到数据全覆盖、无间断共享。数据中心的建设可以促使各业务系统协同处理业务，数据得到流转，避免出现各业务系统相关数据更新不及时或数据中混杂着脏数据的问题。在数据中心建设完成的基础上，搭建大数据平台，从数据中心采集抽取数据，对数据进行挖掘和分析。由于涉及业务系统众多，夹杂着很多结构化和非结构化数据，例如，教学资源、学科资源、科研资源、资产资源等，需要对这些数据进行剖析，挖掘出其中的数据价值，并将最终分析结果可视化。4.2.1 数据中心框架设计数据共享是打破各业务系统壁垒，实现数据流转、业务系统协同办公的关键，也是建设大数据平台的基础。因此，需要建设数据中心，实现数据的统一存储和管理，搭建各业务系统数据流转的桥梁枢纽，完成业务数据在各系统之间流畅、实时、批量传输。建设数据中心前，制定数据交换共享规则，数据将根据制定的共享规则汇入数据中心。数据中心主要包括中心数据库、数据服务管理平台、数据模型管理平台、数据质量管理平台等，数据中心交换共享框架如图1所示。中心数据库是由基础数据库、业务共享数据库、决策支持数据库组成，存储校内各系统的业务数据和诊改数据；数据服务管理平台为平台外提供数据的查询、分析、比对等功能；数据模型管理平台负责制定统一的数据标准、数据关系、元数据信息等，是整个数据中心的基础。基础数据库：由建设业务系统的原始数据库提供业务数据，经过统一数据标准和规则，汇聚到基础数据库。942023.4电脑编程技巧与维护图1数据中心交换共享框架业务共享数据库：业务数据经过统一数据标准、清洗之后，根据业务系统需要，划分不同主题，抽取相关数据建立业务共享数据库，供其他业务系统交换共享。决策支持数据库：主要存储有关诊改的上层数据信息，为学校的建设发展提供决策支持。建设数据中心，同时打造数据交换和共享平台，定制化提供数据交换接口，实现各系统有机结合，以制定好的数据质量标准、数据模型和数据接口规则，实现数据自动提取、数据转换、数据发送、数据校验、数据审核，当其他业务系统数据发生变化时，通过数据交换接口完成增量或全量数据更新，保证业务系统之间数据的一致。数据交换过程如图2所示。数据交换和共享平台是为不同业务系统、不同数据库、不同数据格式之间提供数据交换的平台，建造“统一标准”“统一交换”“统一处理”的数据交换模式，保证业务系统数据统一。4.2.2 大数据平台设计建设数据中心之后，成功实现各业务系统数据的交换和共享，打通了校园各业务系统的数据烟囱，数据在系统中流转，各业务系统实现协同办公、互联互通，该数据真正地“跑”起来。在校园各业务系统的数据中，存在着许多价值性较高，但是数据类型复杂、难以分析的数据，同时也有很多较为隐蔽、难以发现却蕴含着数据价值的信息。在业务系统中，仅仅依靠简单的查询无法发现隐藏的数据价值，无法完全分析这类数据在不同维度上的历史趋势。在数据中心之上，建设大数据平台，对数据进行更有效的治理，提纯数据质量，依靠其速度快、效率高、计算能力强的特性，从不同维度挖掘各业务系统的数据价值，数据变化趋势可视化，以不同形式展现数据内容，分析数据蕴含的潜在规律，为学校建设和发展提供有利的数据支撑。如图3所示，大数据平台框架主要包含数据源层、数据采集层、数据处理层、数据存储层、数据分析层和数据共享层。数据源层：源数据涉及结构化、半结构化、非结构化等数据类型，因此在数据源层主要包含存储源数据的图3大数据平台框架数据中心数据服务管理平台数据模型管理平台元数据数据标准查询分析比对数据权限数据关系统一编码中心数据库基础数据库业务共享数据库决策支持数据库人员库教学库科研库资产库财务库校园网一卡通图文招生专业建设教学质量就业指导发展规划数据质量规则库数据质量管理平台图2数据交换过程业务数据库业务数据仓库业务数据数据交换引擎数据模型管理平台业务数据库业务数据库业务数据仓库业务数据仓库业务数据业务数据MongoDB、XML、JSON数据源层关系型数据库Oracle、MySQL、DB2、SQL Server半结构化数据库非结构化数据库PPT、Word、视频、图片、邮件物联网IOT传感器、GPS定位互联网Scrapy、Pyspider、MechanicalSoup数据采集层实时采集Canal，Flume，OGGKafka离线采集DataX、FTP，Sqoop数据处理层流处理Flink、Spark、Streaming批处理Spark、Tez、Hive数据分析层深度学习、数据挖掘、知识图谱、计算机视觉数据存储层关系型数据库StorkNoSQL数据库MongoDB、Rediskey-Value分布式数据库HBase、HDFS数据共享层数据访问JDBC、ODBC开发接口Restful API数据总线ESB消息中间件Kafka文件接口FTP952023.4电脑编程技巧与维护各类型数据库及基础数据。常见的关系型数据来源于关系型数据库，例如，Oracle、MySQL、SQL Server、DB2等；半结构化数据有来自MongoDB中的数据、JSON格式数据、XML格式数据；非结构化数据，例如，PPT、视频、图片、Word、邮件等。此外，还有一些通过传感器、GPS定位产生的物联网数据和通过技术框架，例如，Scrapy、Pyspide