核电厂生产系统数据准备探索与应用_杨沥铭.pdf

科技视界Science&Technology VisionDOI：10.19694/ki.issn2095-2457.2022.30.04核电厂生产系统数据准备探索与应用杨沥铭（中核核电运行管理有限公司业务标准处，浙江 嘉兴314000）【摘要】随 着近 些 年 来 数字 化 转 型在核 电 厂的 推 进，核 电 厂信 息 化 建 设 也 正 在 呈 现 井 喷 式 态 势 发 展，信 息 系 统 的建 设都 离 不 开 生 产 数 据 准 备。实际 上 核电厂 的生 产 系 统 数 据 准备 不 仅 仅 只 是 体 现 在 新 信 息 系 统 上 线 前 的 基 础 系 统 数据准备，同 时 也 贯穿 在核 电 厂 生产 数据 应 用 的全 生 命 周 期。生 产 信息 系 统数据准 备 的完 整 性、准确 性、时 效性是 其 能发挥 其业 务 价 值 的 基 石 也是衡量 其建 设 成果的 重要 指 标。【关 键词】核 电厂；生 产信息 系 统；数据 准 备；ETL0引言当前核电厂生产业务对象的相关数据，可能散落在各专业信息系统中，各数据对象并未形成基于统一的数据标准的数据服务，造成了数据孤岛效应，当对这些数据在进行数据挖掘及分析时，需要对数据进行二次处理并进行相应的清洗转换才可以使用。由于信息系统及核电业务的复杂性，势必会生成繁多的数据清洗任务，这样对数据源、目标数据、转换方式及过程及最终清洗后的验证就需要独立管理和配置，对维护产生较大的压力，增加维护成本。同时在日常工作中，我们也能清晰的看到，常见的信息系统或管理软件，对企业的数据只能起到统计及分析的作用，并不能起到梳理及清洗的作用，如果初始数据准备的数据质量不高，在进入系统后，实际上信息系统对脏数据还有一定的放大作用，其输出的分析及统计结果，可能是一个质量更差的结论，从而影响生产系统的权威性和业务使用者的信心。本文旨在介绍核电厂生产系统数据准备的探索与应用，在核电站日常需要进行数据准备时，可以通过生产数据准备系统快速完成相关数据的准备，并可对数据准备过程进行管控。1传统的生产系统数据准备当前核电厂生产系统数据准备，大都为“项目服务式”的数据准备，在生产系统实施初期，组建专职的数据准备团队，团队由信息人员及专业技术人员组成，为生产系统进行数据准备工作，数据准备的流程如下图所示：图1传统数据准备流程核电厂生产系统数据准备是个数据种类繁多、组织交错、错综复杂、管理要求高的实施工作，以核电厂生产管理系统为例，其数据准备中基础配置项收集大致需收集 1500 余种，6500 多项的系统基础配置，数据准备涉及作 者 简介：杨 沥铭，数 据规划 工 程 师，研 究方 向 为 核 电 厂 生 产运 行管理 系 统 业 务 设 计、数 据 治 理、项目管 理工 作。新技术应用012Science&Technology Vision科技视界约 10 多个生产业务处室、10 余个核心业务对象相关约 50 万条数据，以生产管理系统上线/推广周期为一年计算，其数据准备存在以下情况：时间跨度大，数据准备工作约占整个项目实施周期的五分之四左右；数据准备完全通过数据人力进行清洗转换审核，需要专职的数据准备团队，对实施人员素质要求较高、同时需要较多的业务人员进行配合，时间成本高；同源数据、转换数据、目标数据基本在体外进行管理，不利于数据的溯源；数据准备的采集、清洗、转换、审核、发布全部体外进行，无法进行有效的管控及实时进度跟踪；数据审核工作通过业务专工进行体外数据表单审核，审核无法真正有效落地；数据清洗成本高，根据历史经验，数据清洗成本约 1 元/条。2核电厂生产系统数据准备平台系统建设针对传统生产系统数据准备中的问题，生产系统数据准备平台首次将数据治理方法及相关功能引入核电软件研发，结合电厂实际情况，作为安全生产平台的一个子系统，从整体出发，以系统发展的观点，采用系统化的方法开发和设计，系统总体设计思路如下：生产数据准备平台应实现工具化、松耦合接入同时支持多种的数据发布方式用于解决传统数据准备过程中数据采集通过数据库视图导出的繁重且无法复用的采集方式；数据清洗工具应具备丰富的清洗规则和清洗方式，可进行多规则的转换、作业，同时具备实时监控，实时展示组件，用于解决传统数据准备过程中数据清洗时，转换全部通过人工 Excel 进行转换且进度无法实施反馈项目管理层无法实时跟踪转换进度的问题；数据清洗工具应支持定时调度管理，支持数据清洗任务化管理，同时具备任务的流程审批功能用于解决传统数据准备过程中数据审核无法真正有效落地的问题；生产数据准备平台应与数据标准、模型平台互通，依托数据标准及数据模型进行企业数据准备工作；应具备丰富的数据溯源方式，用于解决传统数据准备过程中当遇见数据歧义时，需要人为进行源系统、目标系统、转换过程中繁重的多元比对溯源工作；数据发布应可实时进行展示，查看数据发布的进度及状态，用于解决传统数据准备过程中数据发布需使用目标系统提供的导入工具，数据准备无法进行全过程状态管控的问题。遵照以上总体设计思路，结合核电厂自身的实际诉求，进行核电厂生产系统数据准备平台建设。生产系统数据准备平台的功能架构如下图所示：图2数据准备平台功能架构生产系统数据准备平台的技术架构如下图所示：数据准备平台的数据清洗工具的 ETL 流程设计器通过集成 Kettle 的 PDI SDK，定制化开发相关核电厂生产信息系统数据准备所用到的核心转换组件库，通过 ETL 流程图设计及流程连线进行数据转换及流转，通过可新技术应用013科技视界Science&Technology Vision视化拖拽完成 ETL 流程图的设计，并通过组件的属性面板进行相关参数的配置，ETL 流程设计如下图所示：数据准备平台任务监控，主要用于对数据准备平台中的数据清洗转换流程进行实时的执行情况监控，并通过分类图标的形式为数据准备相关人员提供直观的数据准备总体展示，使得数据准备平台相关使用人员能对平台当前执行情况有一个总体的认知。任务监控主要提供：任务清单查看及检索、当前执行任务、任务等待、任务失败、任务成功、任务强停等分类数据图。图3数据准备平台技术架构数据准备平台任务调度管理，主要对数据清洗任务进行任务的调度配置，如对数据清洗作业、数据清洗转换的管理及配置，可新增、修改、删除作业或转换，并可进行相关任务的启停、参数调整，诸如：执行次数、执行频率、执行时间等，并可对相关任务进行执行情况的日志查看。数据准备平台任务审核发布，主要用于对经过 ETL 转换后的数据进行业务审核，检查数据清洗工具转换是否正确，并对需要人工干预的数据进行数据修订，可使用数据质量工具对任务数据进行数据质量评估，同时可并行查看数据清洗前的源数据，和清洗后的转换数据，便于比较数据差异，同时对数据修订进行记录，当审核人员对数据进行修订时，修订数据进行高亮展示，以提醒路径数据审核人，当数据完成审核，可直接通过数据模型链接的发布微服务将数据推送到需进行数据准备的生产信息系统相关模块，任务中的数据发布情况，通过数据状态及发布进度，实时进行反馈。3结语借助信息化手段提升核电厂数字化水平，是近些年来核电行业在信息方面的重要任务，本文从生产系统数据准备的角度出发，通过数据准备平台建设，对生产系统数据准备的全流程进行管理，规范生产系统数据准备，简化业务人员在生产系统上线前繁重复杂的数据准备工作，提升生产系统中的数据质量，提高信息系统推广效率，保障机组的安全、稳定运行。【参考文献】1刘祯.核电厂生产准备信息系统管理平台开发J.电子技术与软件工程，2016（16）：1.2GB/T 5271.62000，信息技术词汇第6部分；数据的准备与处理S.新技术应用014