You are on page 1of 4

实践与经验

文章编号:
1007-1423(2021)11-0141-04 DOI:
10.3969/j.issn.1007-1423.2021.11.029

基于企业中台云化构建及大数据分析研究
刘翠玲,徐敏,
张翠翠,
王鹏

(国网安徽省电力有限公司信息通信分公司,合肥 230041)

摘要:
数据中台是电力企业重要的基础支撑性平台,本文提出基于云平台的数据中台构建方法,给出数据中台总体架构,阐
述数据中台跨域计算流程,设计基于数据中台的结构化、非结构化以及量测数据分析方法,通过实验验证基于数据中
台的数据分析的可行性。
关键词:
数据中台;大数据计算;跨域计算;服务共享

0 引言 数据中台可以构建分布式、高可用、高性能事务型数据
服务,满足复杂业务应用系统基于企业中台运行的数
企业中台基于国家电网公司云平台构建,是企业
据处理需求,实现数据处理和数据分析的全覆盖。提
级能力共享中心,是能源互联网核心基础,统驭公司跨
升海量数据分析时效性,实现分钟级(T+M)数据同步
专业共享服务、全局数据资产,支撑公司各类前端应用
能力和亿万级数据计算能力,支撑准实时业务场景。
灵活编排,助力公司数字化转型[1-2]。
实现流批一体化处理能力,面对随业务动态扩展的多
企业中台包括业务中台和数据中台,业务中台实
源异构数据,实现实时数据与离线数据融合分析,支撑
现跨专业跨领域共性业务共享,是企业级共性业务服
实时业务场景。
务的集合;数据中台实现公司数据标准化处理、归一化
存储,为业务中台提供数据库服务,是集数据存储、接 2 基于云环境的数据中台
入、处理及分析为一体的数据服务集合[3-4]。
结合电力行业特点,给出了数据中台的总体架构
1 现状分析 和数据中台跨域计算,基于数据中台设计了不同数据
类的大数据分析方法。
企业中台按照服务能力类型划分共享为业务中
2.1 数据中台总体架构
台、数据中台。其中数据中台以公司数据中心为基础,
以“资源融通共享、资产全局纳管、服务柔性扩展、
根据数据共享和分析应用的需求,沉淀共性数据服务
能力开放共享”为重点,围绕企业中台服务范围的全面
能力,通过数据服务满足横向跨专业间、纵向不同层级
性、服务内容的多样性、服务质量的可靠性三个方面开
间数据共享、分析挖掘需求 [5-6]。企业中台提供统一的
展规划。基于国网云的数据中台架构如图 1 所示。
企业级共享服务、公共数据服务、大数据分析服务和能
构建共建共享的全网智能数据标签、自助便捷的
力开放服务,支撑电网数字孪生。数据资源融通共享,
数据分析工具、敏捷高效的数据服务能力,降低数据使
跨专业共性服务统一沉淀,强化业务支撑和服务开放
用门槛,支撑业务创新。建设两级数据标签,实现数据
能力,实现资源全域汇聚、跨域融合与全局共享[7-8]。
标签嵌入业务、闭环运营和迭代进化,逐步成为连接业
数据中台承载全局数据需求,提升资源全局纳管
务与数据的桥梁,让业务人员能够看懂数据。提供简
能力,数据中台提供业务数据库服务,提升实时处理和
单高效的数据 API 服务和自助分析工具,实现业务人
分析能力,数据中台可以对复杂场景的支持[9-10]。利用

现代计算机(www.moderncomputer.cn) 2021.04 中 􀂅
􀁾
􀁱
实践与经验

员自主构建分析应用,支撑业务人员广泛参与数据价 同步能力,实现“搬计算、不搬数据”的数据中台跨域资
值创造。 源调度的服务目标。数据中台跨域计算如图 2 所示。

图 1 数据中台架构
图 2 数据中台跨域计算
基于沉淀的共性数据服务,通过数据服务的叠加
复用,提升对业务需求的快速响应。基于企业中台的 全网数据资源(明细数据、指标、标签等),统一纳
模型管理、服务组装、流程配置和界面编排等服务开放 入两级数据资源目录纳管,通过数据路由服务实现全
能力,赋能传统业务系统实现数据驱动和智能决策,最 网数据资源定位。两级实时计算代理,解决跨域数据
大化实现数据中台的价值延展。适应新兴业务快速发 资源获取需求,指标、标签、明细数据表等通过两级中
展和业务深度协同的需求,持续拓展业务中台覆盖范 实时业务数据通过 DataHub
台数据服务统一对接获取,
围,逐步形成覆盖公司核心业务领域、面向内外部相关
DataHub 或 Kafka(省公司)对接获取,
(总部)、 通过实施
方、能力完备的中台服务体系。
计算代理本地化计算后推送给数据组装服务。数据组
通过数据中台打造服务统一管理体系,构建一体
装服务,
负责组合各级来源数据及数据服务,
通过数据服
化编排组件,实现各共享中心服务的统一管理、原子服
务组合调用来直接支撑业务应用。针对频繁使用的周
务灵活组合、聚合服务柔性扩展,支撑多渠道、多类型
期性数据资源,
为避免两级实时调用导致的链路稳定及
应用的快速构建。基于业务中台电网资源共享中心和
性能影响,
下发同步策略至数据交换平台,
按需将数据资
数据中台海量数据,以数字化方式为电网构建数字空
间模型和信息物理模型,实现数字孪生电网。 源后台自动同步至总部数据中台,
并更新总部数据资源

2.2 数据中台跨域计算 目录,


后续调用直接通过总部数据服务提供。
数据中台实现分析域向处理域延伸,扩展数据中 2.3 数据分析
台数据管理范围,实现企业内外网数据资产全量纳 结构化数据是数据中台主要存储和计算的数据,
入。构建统一数据模型、数据资源可视、数据治理等工 其他如量测数据、非结构化数据最终都会处理成结构
具组件,实现企业数据标准自动化管理,提升数据融通 化数据。该类数据通过数据接入组件抽取至贴源层,
共享能力。在两级异构数据中台架构模式下,通过服 利用批量计算和内存计算组件,结合业务分析场景,形
务代理等部分功能补强实现跨域协同,主要思路为基 成共享层和分析层,相关应用使用数据服务组件获取
于两级的数据资源目录,实现全网数据路由服务,定位 分析结果,明细数据不出中台。数据分层设计虽然减
跨域数据资源;通过两级实时计算代理,解决两级实时 低了数据时效性,但是可以让数据最大化共享使用,避
数据跨域获取需求;通过数据服务组合,综合调用集团 免重复计算,提升数据利用率。结构化数据离线处理
总部、二级公司两级数据中台服务能力以及数据实时 如图 3 所示。

􀂆
􀁾
􀁱 现代计算机(www.moderncomputer.cn) 2021.04 中
实践与经验

图 3 结构化数据离线处理 图 5 非结构化数据处理

针对量测类、时序类数据,将数据实时接入数据中
3 实验验证
台,利用流计算组件,即可以单独对实时数据进行分组
聚合计算,又可以结合列式数据库进行流批联合计算, 依托国网安徽电力数据中台,以供电服务指挥系
极大地减低计算时延,适合于实时监测、风控、应急指 统停电信息实时推送在线实时业务为例,设备运维部
挥等对数据时效性较高的场景。同时流计算组件的流 根据检修计划,完成业务审核后发布停电计划,营销部
批一体处理机制,也适合建立实时数仓,在处理过程中 根据停电影响范围第一时间告知相关用电客户,防止
形成实时共享层和分析层,满足数据实时分析场景。 发生生产事故、提高用户的服务满意度。数据中台需
量测类数据实时处理如图 4 所示。 实时接入获取 PMS 提供的停电计划信息,直接通过数
据中台流计算组件,关联离线分析架构中共享层整合
的设备台账、台区信息,计算得到停电影响设备范围信
息,进一步实时关联共享层整合的用电客户档案,实时
计算分析停电影响用户范围信息,存储到提供实时查
询能力的中台分析型数据库后,通过数据服务推送停
电用户信息实时推送给供服系统,由供服其根据业务
需要,面向用户推送最终的停电通知及用户关怀内容,
基于数据中台的供电服务改造如图 6 所示。

图 4 量测类数据实时处理

针对图片、视频、语音、文本等非结构化数据,可集
中存储在文件存储服务中,利用图像识别、语音识别、
自然语言处理等人工智能分析模型,提取关键特征,形
成结构化数据。根据分析需要将数据存储在共享层或
分析层,结合业务其他结构化数据构建联合分析应用,
可广泛应用于安全可视化生产、企业知识图谱构建、语
音智能助手等场景。非结构化数据处理如图 5 所示。 图 6 基于数据中台的供电服务改造架构

现代计算机(www.moderncomputer.cn) 2021.04 中 􀂇
􀁾
􀁱
实践与经验

利用数据中台数据工厂组件,基于共享层标准数 台的数据分析应用的可行性。
据,根据业务分析模型进行加工计算,分析结果通过数
4 结语
据服务对外发布共享。通过数据中台实时计算组件,
基于流式数据完成停电信息影响用户实时分析。通过 针对当前电力数据中台建设需要,本文提出了基
实时队列订阅发布功能,将实时计算结果实时对外发 于云平台的数据中台构建方法,给出了数据中台总体
布共享,支撑供服业务在线应用。 架构,阐述了数据中台跨域计算流程,设计了基于数据
通过上述实验,实现供电服务指挥系统停电信息 中台的数据分析典型方法,通过实验验证了基于数据
实时推送在线实时业务典型应用,验证了基于数据中 中台的数据分析的可行性。

参考文献:
[1]李志,费晓璐, 郭振. 基于数据中台的电力企业数据资产管理方法研究[J]. 电力信息与通信技术, 2020, 18(07):76-81.
[2]赵增涛,罗勇, 梁成辉. 电力企业中台云化构建及大数据分析研究[J]. 水电与抽水蓄能, 2020,6(03): 50-55.
[3]刘颖慧,刘楠, 蔡一欣, 等. 数字化转型中不同企业的中台战略及架构设计[J]. 电信科学, 2020,36(07): 126-135.
[4]基于数据中台的无线电管理数据综合分析应用研究[J]. 中国无线电, 2020(02):60-64.
[5]李信鹏,刘威, 杨智萍, 等. 电网企业数据中台方案研究[J]. 电力信息与通信技术, 2020, 18(02):1-8.
[6]周纲,王锦志, 许道强, 等. 电力营销服务业务中台设计方法与支撑体系研究[J]. 中国管理信息化,2020, 23(01):83-89.
[7]缪翀莺,谭华, 易学明. 数据中台的定位和架构分析[J]. 广东通信技术, 2019,39(12):57-62+70.
[8]李巍巍. 数据中台技术在业务系统中的应用研究[J]. 现代信息科技, 2019,3(21):108-110.
[9]赵增涛,罗勇, 梁成辉. 电力企业中台云化构建及大数据分析研究[J]. 水电与抽水蓄能, 2019,5(05): 70-74.
[10]崔树红,刘全力,唐立庭. 数据时代背景下 “数字政府”技术架构研究与应用分析[J]. 信息系统工程, 2019(07):24-29.

作者简介:
刘翠玲(1990-), 女, 安徽合肥人,硕士研究生,研究方向为数据应用、数据分析、数据挖掘
徐敏(1988-),男, 安徽合肥人,硕士研究生,研究方向为大数据、数据中台、数据分析
通信作者: 张翠翠(1991-),女,安徽合肥人,硕士研究生, E-mail: zhangcuicui1010@163.com
研究方向为大数据、云平台、数据库,
王鹏(1993-),男, 安徽芜湖人,硕士研究生,研究方向为大数据、数据中台、数据分析、云平台
收稿日期: 2020-11-17 修稿日期:2020-12-28

Research on Cloudification Construction and Big Data Analysis Based on


Enterprise Middle Stations

LIU Cuiling, XU Min, ZHANG Cuicui, WANG Peng

(Information and Communication Branch of State Grid Anhui Electric Power Co., Ltd., Hefei 230041)

Abstract:
Data center is an important basic supporting platform for electric power enterprises. This paper proposes a method for constructing data cen⁃
ter based on cloud platform, gives the overall structure of data center, explains the cross-domain calculation process of data center, and de⁃
signs data center based on data center. The structured, unstructured, and measurement data analysis methods of the station have verified
the feasibility of data analysis based on the data in the station.
Keywords:
Data Center; Big Data Computing; Cross-Domain Computing; Service Sharing

􀂈
􀁾
􀁱 现代计算机(www.moderncomputer.cn) 2021.04 中

You might also like