2023年集团型企业数据采集交换系统的设计与实践.docx

集团型企业数据采集交换系统的设计与实践 金鑫 于英涛 （摘    要） 文章以一个典型的集团型企业为例，介绍了数据采集的方案设计及工程实践。结合集团与下属单位的特点，进行完整的技术体系设计，明确了重点数据处理过程，支持全面数据采集的实现。 （关键词） 数字采集;数据处理过程;企业管理 doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2023. 23. 051 （中图分类号） F270.7    （文献标识码）  A      （文章编号）  1673 - 0194（2023）23- 0123- 03 1      工程背景 集团型企业是以一個实力雄厚的大型企业为核心，以产权联结为主要纽带， 并以产品、技术、经济、契约等多种纽带，把多个企业、事业单位联结在一起，具有多层次结构的以母子公司为主体的多法人经济联合体。集团型企业具有金字塔式垂直分层的组织结构，一般有一个能起主导作用的核心，这个核心可以是一个从事生产经营的法人企业，也可以是一个专门从事经营的法人企业，也可以是一个具有管理职能的机构，处于集团型企业的管理顶端，负责管控下属单位的治理结构、角色定位与职责、资源管控方式、绩效管理体系等。集团型企业在市场竞争中对于优化资源配置和分散风险具有无可比拟的优越性。每个下属单位又是相对完整独立的经营企业法人，接受集团的各项管理，又要独立开展业务。 数据采集是支持集团化管理的利器。数据采集又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集的方法一般包括软件接口方式、客户端采集、网络爬虫、开放数据方式等。其中，软件接口方式数据可靠性与价值较高，但可扩展性有局限;客户端采集兼容性较强，但采集数据的实时性有一定限制;网络爬虫支持自动抓取互联网的程序或脚本，但容易受反爬机制影响;开发数据库方式简单直接，但平安性方面有局限。多种数据采集方式各有优势，应用场景也不相同。如何有效地与集团型企业管理特点结合，适应实际情况，实现有效采集，成为集团型企业信息化建设中的关键问题。 某集团型企业为了加强集团管控能力，在信息化建设方面加大力度，构建了较为完善的根底设施，具备了集团与各下属单位之间的网络联通条件，能够实现信息的无障碍传输。各下属单位建设了主营业务的支撑系统，能够支撑本单位业务的数字化开展。为了进一步加强宏观管控，构建集团一体化的数据采集体系需求迫切。 2      系统设计方案 2.1   集团端设计 集团端处于管理顶端，是数据采集的中枢，结合战略导向开展数据采集，构建统一的数据采集交换系统对各下属单位提供全面的数据采集交换效劳，主要采用软件接口方式进行数据采集，具体包括：统一接收效劳、统一验证效劳、统一解析效劳、平安传输组件、统一存储效劳和统一平安审计效劳，并将上报数据中的元数据写入统一数据存储库，如图1所示。 （1）统一接收效劳：面向各下属单位提供数据接收的接口效劳，各单位的前置效劳区将通过该接口向集团前置会聚效劳区提供数据。同时，该效劳提供状态反响，数据传输状态的及时返回，并针对传输失败数据进行及时的消息提醒。 （2）统一验证效劳：提供数据的格式验证、状态校验、完整性校验等效劳，确保上报数据符合要求、完整准确。 （3）统一解析效劳：提供数据的解析效劳，解析数据包中的元数据、受控属性和版式文件，对上报数据包进行拆包，复原其中的元数据、版式文件等内容。 （4）统一存储效劳：提供数据的存储效劳，将解析出的元数据写入到集团，将版式文件存储到数据存储效劳中，数据存储效劳可以为磁盘路径、FTP、NFS、NAS、SAN等多种文件存储效劳中。由各下属单位数据加密存储，未被授权的用户或系统管理员也无法获取数据内容。 （5）统一平安审计效劳：对数据进行详细的日志记录，记录数据来源、数据用途、受控等级、受控范围、受控期限等内容，通过管理平台提供统计分析、操作追踪等效劳。 （6）管理平台：提供前置会聚效劳区的配置和管理维护，统一配置各下属单位前置会聚效劳区接入信息，配置接入平安策略，防止非授权单位获得接入效劳，确保访问前置会聚效劳区的效劳器是可信效劳器。 （7）平安传输组件：具体支撑数据的接收效劳，并确保上传数据与各下属单位前置效劳区上报数据状态一致。主要包含两个局部： ①同步队列：根据统一策略配置的定时器效劳可以设置向各下属单位前置效劳区传送接收数据，并建立数据同步队列。 ②同步-阻塞效劳：根据统一策略配置的文件，对各下属单位前置效劳区建立状态反响效劳，确保上传数据的状态一致，只有集团前置会聚效劳区反响了数据上传成功的状态，各下属单位的前置效劳区才能设置本地状态数据上传成功，否那么只能重新上传数据。 （8）统一策略控制：在采集数据之前，需对采集的数据制订模板和元数据标准，并将相关模板及元数据标准下发至各下属单位，各单位按照统一的模板和数据标准进行数据填装即可。同时统一策略控制，在今后业务需求发生变更时，可根据变更后的模板，自动将模板下发至各单位，并主动进行数据抓取，确保业务采集频率变化后，能实现智能快速的数据获取。 （9）申请审批效劳：面向各下属单位前置效劳区提供上报数据修改、删除操作的申请审批效劳，确保修改、删除操作的集团审批，数据受控。前置会聚效劳区提供审批流程配置引擎，可快速建立上报数据修改、删除操作申请审批体系。审批流程配置引擎提供：定义多级审批流程，支持多人审批;可根据部门、受控等级创立多种审批流向;支持代理审批，审批处理人员可委托他人代为处理审批事宜;流程监控可实时呈现每个流程当前处理情况;提供申请审批消息通知。