概述

对于多组织的大型企业集团，不同时期建设了不同的应用系统，单位之间建设时间、技术平台、数据结构、功能设计都存在很大差异，总部侧需要的关键指标数据多通过手工填报、报表的形式获取，其及时性、准确性和真实性都面临极大的挑战，已经不能满足现代企业集团化运作、集约化经营和精细化管理的需要。数据采集和交换系统主要解决基层单位和本部业务数据的采集并自动地、及时地传送到总部数据中心，是一体化信息集成平台的重要组成部分。

解决方案

数据采集与交换系统可实现快速、稳定、大数据量交换，实时监测、捕获变更数据，并同步到目标端，是实现“横向集成、纵向贯通”的支撑性技术平台。主要用于各级完备信息系统的数据直采和系统间交换,可以实现其他工具的集成，以及可以提供丰富的二次开发能力，满足集成的多场景需求。在进行数据交换和共享时，数据提供者和数据消费者都需遵守的中间数据库，包括数据结构、数据规范和格式规则。

其主要功能包括：

1、 实现数据从基层单位业务系统数据库采集的可配置化和自动采集；

2、 实现把采集到的数据按照设定的策略(定时、及时)上传到总部侧数据中心缓冲区，为后续加工提供稳定和高质量的数据源；

3、 为总部应用系统间提供标准的、规范的横向交换服务和格式规范。

总体建设框架

数据采集与交换系统可以通过三种采集方式获取数据，即：在线采集、离线采集和填报，分别适用于有系统支撑、电子文件和无数据源的三种数据存在形式，并可实现多种采集方式之间的动态调整。在线采集有三种技术手段，即直采、推送和ETL。直采是通过数据采集与交换平台实时捕获变更数据，同时为系统之间的数据共享提供平台支撑，适用于及时性要求高的业务场景；推送是由系统按照约定规范和业务逻辑推送数据到目标端，适用于系统安全等级高的系统；ETL是通过ETL工具定时或基于任务扫描系统并读取数据，适用于周期性强、数据量大、加工逻辑复杂的场景，多用于数据中心内部的大数据量的加工处理，一般不用于纵向之间。离线采集适用于结构化文件类数据源，如Excel、文本文件。填报适用于没有系统支撑或不具备集成条件的报送数据需求，通过系统直接写入集团数据库。

数据采集与交换平台三级部署（或按组织机构分级部署），即集团、分子公司和基层单位，且每级部署前置数据库为数据枢纽，暂存采集交换的过程数据、控制数据和业务数据。对于自动采集的原始数据，依据数据规划、编码规范等要求，平台将原始数据加工形成规范数据。平台提供自动同步、视图、消息通知等多种方式将数据同步至预设目标端。平台负责各级企业内部系统数据的采集、整合和共享，同实现与上下级企业之间的双向数据交换。

为确保平台稳定运行，提供了全方位、全过程的监控，包括过程监控、状态监控、性能监控和数据质量监控。

总体架构如下图所示：

功能架构

数据采集与交换系统通过灵活配置方式，支持将不同类型数据源，实时或定时采集，并按照IEC CIM模型进行规范转换和共享；整合数据流程，实现分级审核，满足各级数据分析需求；通过全过程数据监控，确保数据质量，其功能架构如下图所示：

核心能力

数据采集与交换系统实现企业内部信息系统之间的横向集成与组织之间的数据报送和纵向贯通，构建从数据采集、数据传输、数据整合、数据共享、数据交换和监控的多层次、全过程、全方位、智能化的支撑平台，建成覆盖全集团的“横向集成、纵向贯通”数据采集与共享平台。其核心能力具体包括以下五个方面：

1、 打造统一、规范的数据报送和在线采集的平台支撑能力；

以指标数据规划成果为依据，统一设计，建设数据采集与交换系统，提供填报、直采、推送、ETL抽取等多种采集方式，以及多种采集方式之间的自动切换，满足多种场景、多种方式、多种技术的采集需求，打造数据直采和交换的能力，形成统一、规范的数据采集和交换支撑平台。

2、 构建安全可靠的传输通道；

平台为企业提供一个双向、可靠、安全的信息高速通道，不仅仅可以将本级系统数据上传至上级单位，还可以接收上级分发的共性数据或本企业的专属数据，并自动同步到本级对应业务系统，实现跨地域、跨组织的系统融合和数据贯通。

3、 形成统一、规范、标准的数据；

依据企业有关规定和要求，并吸收IEC CIM相关标准，形成统一、规范的组织体系、电力系统资源体系、资源参数体系、资源量测体系和指标体系，构建数据的标准化存储体系、编码体系、共享体系和交换体系。

4、 提供完备的数据交换技术能力；

基于标准化数据，按照共享需求和业务约定，平台提供完整、准实时、自动的数据交换机制，将数据同步到目标端。提供同步推动、视图、基于服务等多种技术手段，满足复杂业务场景需要。

5、 提供全面、智能、可视化的监控；

围绕平台稳定运行和确保数据质量，对相关的信息系统、网络、通道、数据库、预订集等对象的状态、运行参数等进行实时监测，以及全面审查数据的完整性、及时性和有效性，捕获可能发生的异常，通过可视化的界面将异常展现出来，及时报警，同时借助邮件、短信等形式通知相关责任人，快速定位，协助解决。

客户收益

数据采集与交换系统是建设企业级数据中心的基础平台。系统能够给客户带来：

第一， 统一的数据标准与规范：为集团企业实现横向应用集成、纵向数据贯通；为业务应用提供统一的、一致、标准的数据规范，为建设企业级数据中心奠定基础。

第二， 统一的数据交换与共享：通过统一的平台架构，整合信息孤岛，在全集团范围内实现统一的数据交换与共享。

第三， 统一数据来源：实现“数据同源、统一口径、融合贯通”，减少或避免“多头上报、数出多头”等弊端，在企业范围内达到业务流、数据流、信息流的有机统一。

第四， 减轻基层企业数据填报工作量：通过平台直接从业务系统获取数据，降低基层员工手工制表、数据填报的工作量。

成功案例

（2010-2012）中国国电集团公司数据采集与交换系统项目

（2011-2012）国电山东电力有限公司一体化平台项目

（2012-2013）国电青海电力有限公司数据采集与交换系统项目

（2012-2014）国电大渡河一体化平台项目

（2013-2014）国电重庆公司数据采集与交换系统项目

（2013-2014）国电安徽公司数据采集与交换系统项目

（2014-2015）国电海南公司数据采集与交换平台项目

（2014-2015）国电四川公司数据采集与交换平台项目

（2015-2016）国电东北公司数据采集与交换系统项目

（2015-2016）国电内蒙公司数据采集与交换系统项目

（2015-2016）国电长源电力公司数据采集与交换系统项目

（2015-2016）国电河北新能源公司数据采集与交换系统项目