西安建筑科技大学

研究生课程考核答题纸

考试科目：新能源汽车技术 考试时间：2023.06.01

学 号：2207211475 学生姓名：王瑞华

学 院：机电工程学院 任课教师：武小兰

题号 成绩 总成绩

6 阅卷人签字

10
 基于数据驱动的新能源电力系统调度方法
综述
王瑞华
（西安建筑科技大学 西安 710055）
摘 要：在“碳达峰与碳中和”的国家战略背景下，持续推动高比例清洁能源利用构建以新能源为主
体的新型电力系统是能源电力行业的必然选择。为应对新能源出力不确定性带来的电网运行风险，传统模
型驱动方法利用鲁棒优化、随机优化等理论构建不确定性机理模型，但其内在机理复杂，求解问题的效率
通常会随着系统规模的扩大而降低很多;同时由于建模与求解的过程中需要采取一定的假设和近似处理，
从而与实际问题存在偏差，导致调度决策的精度有限，进而影响到新能源的消纳。因此，如何有效解决传
统模型驱动方法的弊端，是电力系统优化调度领域需解决的问题 ;而机组组合是新能源电力系统优化调度
中最重要的功能之一，本文聚焦于研究机组组合问题。新型电力系统具有电力大数据的天然优势，可有效
支撑数据驱动方法在机组组合问题中的应用。结合海量数据与人工智能技术，通过分析高维数据的复杂特
征发现电网运行的内在规律及潜在风险，可有效提升电网的感知能力 :同时，依托深度学习等技术可提供
快速决策功能，精准实现端到端的直接控制，使电网具备快速、精确的决策能力。因此，使用数据驱动方
法研究机组组合问题，对促进新能源高效消纳、实现新型电力系统转型升级具有重要意义。
关键词：数据驱动；电力系统机组组合；深度学习；深度强化学习；交流潮流
 A review of data-driven new energy power system scheduling

methods
Wang RuiHua
Abstract: In the context of the national strategy of "carbon peaking and carbon neutrality"it is an inevitable choice
for the energy and power industry to continue to promote the utilization of a high proportion of clean energy and
build a new power system with new energy as the main body. In order to deal with the power grid operation risks
brought about by the uncertainty of new energy output, traditional model-driven methods use robust optimization,
stochastic optimization and other theories to build uncertainty mechanism models, but the inherent mechanism is
complex, and the efficiency of solving problems usually varies with the system. Due to certain assumptions and
approximate processing in the process of modeling and solving, there is a deviation from the actual problem,
resulting in limited accuracy of scheduling decisions, which in turn affects the consumption of new energy. How to
effectively solve the drawbacks of the traditional model-driven method is an urgent problem to be solved in the
field of power system optimization and dispatch;and unit commitment is one of the most important functions in the
optimal dispatch of new energy power systems. The new power system has the natural advantages of power big
data, which can effectively support the application of data-driven methods in unit commitment problems.
Combining massive data and artificial intelligence technology, by analyzing the complex characteristics of high-
dimensional data to discover the inherent laws and potential risks of power grid operation, it can effectively
improve the perception ability of the power grid; at the same time, relying on deep learning and other technologies
can provide rapid decision-making functions and accurately realize End-to-end direct control enables the power
grid to have fast and accurate decision-making capabilities.Therefore, using data-driven methods to study the
problem of unit commitment is of great significance for promoting the efficient consumption ofnew energy and
realizing the transformation and upgrading of new power systems. The main work of the paper is as follows:
Keywords:Data driven ， Power system unit commitment ， Deep learning ， Deep reinforcement learning ， AC
power flow

0 引言 度。总体来看电力行业的 CO 排放强度逐年
2021 年 9 月，中共中央国务院印发了 降低，表明可再生能源的发电量逐年提升，
《关于完整准确全面贯新发展理念做好碳达 为能源绿色低碳转型提供了强大支撑。
峰碳中和工作的意见》!，研究了做好碳达 在“碳达峰与碳中和”的国家战略景
峰、碳中和工作的总体思路和战略决策。其 下 2-3]，电系统的 CO 排量在全国占较大
中意见中指出到 2030 年，风电光伏发电 比重，在实现减碳目标方面具有重大潜力。
总装机容量将达到 12 亿千瓦以上，碳排放 为此，助力高比例新能源消纳，建设以新
量达到峰值并稳中有降;计划在 2060 年完 能源为主体的新型电力系统是电力系统未
成碳中和总体目标，将新能源及可再生能 来的发展方向。
源的消费比例提升至 80%以上。 建设新型电力系统是实现碳中和目标
根据中国电联会统计可得，2020 年中 的重要举措,对于推进电力市场化改革提升
国电力行业单位发电量 CO 排放强度(CO2 可再生能源消费主体地位都有着重要意义。
排放量除以发电量 )达到 832g/kw h，较 然而，传统电力系统向新型电力系统转型
2005 年 降低 了 20.6% 。 相比 于 2005 年， 升级的过程中，电力系统的能源结构、电网
2006 年-2020 年全国电力行业累计减少 规模、用电模式等方面持续深刻变化，为电
CO 排 放量 达到 185.3t 。图 1-1 给出 了 力系统的调控运行带来了挑战，主要表现
2015 年-2020 年中国电力行业 CO 排放强 在以下几个方面:
 (1) 新能源出力的随机性、波动性，甚 一般采用随机优化方法或鲁棒优化方法进
至反调峰特性造成了其纳入电网功率平衡 行求解，二者在处理新能源出的随机性方
的困难，为电力的可靠供应带来较大风险 ， 面各自具有独特的优势。
而依靠现有调度手段难以保障新能源的大
规模消纳。 1.1.1 鲁棒优化方法
(2)新型电力系统具有“高比例新能
源”和“高比电电子化”等特征结构和工 鲁棒优化方法通常利用不确定集合来
况更加多变，电网运行机理更加复杂，难 描述不确定性，该集合包含了所有可能出
以对不确定因素影响精细化建模;同时，海 现的不确定场景在考新能源不确定性的电
量运行数据正在随着电网规模扩大继续快 力系统优化度模型中新能源出力不确定集
速增长，对电力系统的数据分析、信息融合 合通常可以包含为三个方面:新能源出力区
等技术提出了新的要求。为应对构建新型电 间、时间不确定性和空间不确定性。
力系统对电网调控运行带来的挑战,可以采 在新能源出力不确定集合建立完成的
用以下两种措施: 基础上,利用两阶优化模型确定机组启停方
(1)提高电力系统数字化水平，利用新 案和机组出力是一种被广泛应用的方法此
一代人工智能技术可为解决电力系统调控 方法将决策过程分为两个阶段，第一阶段
运行相关问题提供新思路。首先依据电网运 只考虑机组启停变量，不考虑新能源不确
行数据进行挖和分析特征，然后基于深度 定性，相当于求解成本最小值问题:第二阶
学习、深度强化学习等人工智能技术构建一 段同时考虑机组出力变量 p 和新能源不确
套充分考虑新型电力系统复杂特征的调控 定变在新能源出力最恶劣的情况下求出成
运行决策方法最后依托平台的强大算力和 本的最小值。两个阶段的调整过程共同构成
电网海量运行数据对人工智能技术提供支 min-max-min 三层优化模型。
撑，解决新能源消纳、调度管理等技术难题。 由于鲁棒优化含有不确定模型，仅通
(2)从调控运行的实际应用场景来看， 过调用数学优化求解器是无法解决的。一般
需要同时考虑电压、无功、有功等监测指标。 通过 benders 分解法或列和生成约算法
因此构建一个考虑交流潮流约束的电力系 (columnandconstraintpenetration,C&CG)
统调度模型，有望解决大规模新能源引入 将两阶段模型分为主问题和子问题，采用
的电压越限等问题，保证决策的有效性， 对偶理论将内层 max-min 形式进行解，并
同时引入数据驱动方法提升决策效率。 引入布尔变量解决含二次项的问题。
鲁棒优化模型已经在电力系统优化调
1.含新能源电力系统优化调度研究现状 度领域中取得了丰厚的成果，如利用历史
数据，构造考虑风电场时空相关性的多面
1.1 模型驱动方法 体不确定集合，降低了鲁棒优化模型的保
守性。基于风电的出力历史数据与预测数据，
近年来，接入电力系统的新能源发电 提出了考虑运行风险的不确定性集合，降
比例不断升高，给电网稳定运行带来了极 低了电网的运行风险。有的提出了一种考虑
大的不确定性。虽然新能源预测技术得到了 机组和输电线路故障概率的 N-k 鲁棒机组
飞速发展，但依然存在一定的预测误差， 组合模型，能够应对随机故障场景。有的提
电力系统调控运行不能完全依赖于新能源 出了 3 层鲁棒优化模型，兼顾考虑运行成
预测技术。因此，如何在电力系统优化调度 本、风电消纳和安全性。有的将不确定区间
模型中精准地刻画新能源出力的不确定性, 划分为多个区域，降低了模型的保守性。
使模型能够尽可能规避潜在运行风险，是 以上介绍的是常用的电力系统鲁棒调
近年来的一个研究热点。 度方法,通过在最恶劣场景下达到最经济的
针对含新能源电力系统优化调度问题， 优化目标，能够保证系统的安全性和稳定
性。但这种方法也存在弊端，在新能源出力
不确定集合中选取最恶劣的场景作为优化
对象,这本身是一种很保守的方法，调度结
果的经济性较差。
1.1.2 随机优化方法
随机优化方法通常基于场景分析建立
不确定性模型,采用场景生成方法描述新能
源出力的时间相关特性，并利用场景缩减
方法减少模型的复杂度，提升计算效率。经
典的场景生成方法包括蒙特卡洛模拟
(monte carlo simulation,MCS)129) 拉 丁
超 立 方 抽 样 (latin hypercube
samplingLHS)[30 和 自 回 归 滑 动 平 均
(AutoRegressive Moving
Model,ARMA)3l;常用的场景缩减方法有基
于启发式的同步回代缩减方法 K-means 聚
类法 33]和数学规划法。
在场景生成方法与场景缩减方法方面，
已经有许多专家展研究。有的提出了一种
0-1 规划场景缩减模型，相较于传统方法
有着更高的精确性和适用性。有的利用高斯
核函数和 K-means 聚类法完成对风光出力
和电动汽车充电场景的生成与缩减，使模
型能够考虑不确定性。有的提出了一种基于
Copula 函数的场景生成方法，并利用同步
回代缩减方法完成对大量场景的缩减。有的
将 MCS 与 Copula 函数相结合，完成对风
电出力的场景生成。
与两阶段鲁棒优化方法类似，两阶段
的随机优化方法应用较为广泛。将电力系统
优化调度分为两个阶段，第一阶段制定发
电机的启停计划，只考虑机组启停变量 s:
第二阶段获取风电的不确定场景，在已制
定的发电机启停计划的情况下，通过调整
机组出力 p 使对应的次日机组调度总成本
的期望值最低。
很多学者已经对电力系统随机优化调
度问题开展了较为广泛的研究，有的采用
场景法描述风电的不确定性，建立跨区域
日前-日内调度模型，促进了新能源消纳。
有的使用高斯混合模型对光伏出力历史数
据进行不确定性建模，取得了较好的拟合
效果。有的通过抽样和聚类生成风速典型场
景，并提出一种改进的两阶段随机优化模
型，提升了系统的经济性和可靠性。
1.2 数据驱动方法
上述模型驱动方法作出了很有意义的
贡献，不断推动着大规模新能源的消纳调
度。但基于模型驱动的电力系统优化调度算
法内在机理复杂，求解问题的效率会随着
系统规模的扩大而降低很多;同时由于模型
的近似处理结果和实际问题存在偏差，导
致调度决策精度有限。相较而言，数据驱动
方法通过构建神经网络模型学习机组组合
历史数据，直接构建输入数据与调度决策
Average 之间的映射模型，无需通过复杂的物理模
型计算,在保证求解精度的同时极大地提升
了求解效率。同时，随着机组组合历史数据
的积累与更新，这种方法的精度与效率也
能够持续改进。
1.2.1 深度学习方法
深度学习最初起源于人工神经网络，
其模型内部的神经元连接结构受人类大脑
神经连接启发，形成多层复杂运算单元的
组合。作为人工智能领域的研究热点，已经
发展出了多种经典的深度学习模型，包括
卷 积 神 经 网 络 (convolutionalneural
network ， CNN) 、 深 度 信 念 网 络 (deep
belief network，DBN)、堆栈自编码网络
(stackedauto-encoder ， SAE) 和 循 环 神 经
网络(recurrent neural network,RNN)。
从深度学习的视角来看，机组组合问
题可看作一个多输入多输出的时间序列预
测问题;其中样本输入为次日的负荷预测值、
风速预测数据等，样本输出为次日的机组
组合决策。对于时间序列预测问题，通常使
用 RNN 构造深度学习模型[52]予以求解，
这是因为 RNN 可以学习数据信息的时间序
列特征;但随着时间步长的增加，RNN 存在
着梯度消失或梯度爆炸的问题。为解决这一
问题，有学者对 RNN 进行改进，提出了长
短 期 记 忆 神 经 网 络 (long short term
memory,LSTM)i53]LSTM 由于引入了记忆单
元和门机制，从而有效地抑制了早期信息
在处理过程中发生丢失的情况。近年来,深
度学习已经在电力系统调度运行中得到了
广泛引用。文献[44]提出了一种基于 LSTM
的机组组合决策方法，挖掘负荷与次日发
电决策之间的内在关系。该方法通过完成模
型的离线训练，在线应用时输入负荷数据
即可得到次日发电决策。然而，机组组合问
题具有电力负荷、风速等多种输入特征数据，
针对不同特征的重要程度，需要考虑相对
应的权重:此外，LSTM 仅能按照单一顺序
学习机组组合序列数据,无法获取完整的数
据特征信息，难以保证决策结果的精确性。
1.2.2 深度强化学习方法
2015 年，DeepMind 团队在《自然》杂志
上提出了深度强化学习模型，开创性地将
深度学习的感知能力与强化学习的决策能
力相结合。因此深度强化学习具有深度学习
强大的特征提取和挖掘能力，同时具有强
化学习解决序贯决策问题的能力。
不同于监督学习和无监督学习，深度
强化学习的训练过程不需要输入-输出相对
应的样本数据，也不需要样本的标签值。而
是通过所选策略，智能体自主探索未知环
境，在环境中不断试错完成既定目标的最
优策略，强调智能体与环境的交互获得奖
励值。
因此，深度强化学习在电力系统优化
调度领域具有重大应用潜力。根据考虑安全
约束的新能源电力系统优化调度问题，构
建深度强化学习框架:考虑复杂运行场景，
离线训练决策网络，形成人工智能体。有的
将深度强化学习与领域知识相结合，以最
小化安全约束越限为优化目标，取得了较
好的训练效果，提升了电力系统运行的安
全性。有的采用了基于 DON 的求解算法，
收 敛 速 度 和 优 化 结 果 收 益 均 比 传 统 Q-
table 法更好，有的使用 Rainbow 算法对
风-储系统进行调度决策，有效提升了决策
收益。
2.基于深度学习的新能源电力系
统机组组合决策方法
传统基于模型驱动的机组组合决策方
法存在内在机理复杂适用性较为局限的缺
点，且面对大规模系统时计算效率较低，
求解问题的精度与效率会随着系统规模的
增大而降低很多。相较而言，基于深度学习
的机组组合决策方法能够充分利用历史数
据，构造输入数据与调度决策之间的映射
关系，无须通过复杂的物理模型计算，在
保证求解精度的同时极大地提升了求解效
率。但现有基于深度学习的机组组合决策方
法难以提取输入数据的深层特征，导致决
策精度有限。为进一步提高深度学习模型性
能，将 CNN、B-LSTM 和 AM 引入机组组合问
题，提出基于 CNN-Bi-LSTM-AM 的机组组
合决策方法此方法首先将历史数据聚类处
理，并针对不同特征进行归一化，将风速
数据的时间尺度与负荷数据相匹配。在模型
训练过程中,利用 CNN 对数据进行特征提
取构建特征向量;并引入注意力机制对输入
信息赋予权重，突出重要特征影响;为增强
模型对时序特征信息的提取能力，采用
Bi-LSTM 提取前向与后向的特征信息。实验
结果表明，所提模型具有较高的计算精度，
且适用性较高，可作为辅助性决策工具为
调控人员提供参考。
2.1 基于 CNN-BiLSTM-AM 的网络模型
基于 CNN-BiLSTM-AM 的机组组合决策
方法，其总体思路是先将次日的负荷预测
值、风速预测数据作为 CNN-BiLSTM 网络的
输入，接着利用 Dropout 来防止过拟合，
进而引入注意力机制，最后输出机组组合
决策结果模型结构如图 1 所示。
图 1 神经网络结构模型图
2.1.1 卷积神经网络
传统上 CNN 是针对图像处理和文本分
类开发的，但它也可以用来处理机组组合
这类时间序列数据，执行卷积读取操作 。
CNN 的模型结构主要包括卷积层和池化层 ，
通过局部连接和权重共享来处理局部结构
的相似性，能够有效完成对机组组合初始
数据的特征映射和特征降维。
模型的输入为预处理后的历史负荷数
据与风速数据，以 ReLU 函数作为激活函
数，并设置卷积核数量为 64，完成卷积层
对输入样本的特征提取。通过卷积层中的特
征映射，输出提取的机组组合样本特征矩
阵。
由于机组组合问题涉及的输入特征数
量众多，为提升模型学习效率，应首先进
行降维处理。通过最大池化法，降低中间隐
含层的维度，减少了接下来各层的运算量。
2.1.2 双向长短期记忆神经网络
LSTM 网络是基于循环神经网络改善的
结构模型，引入了存储单元和门机制当前
时刻能利用上一时刻的信息。由于机组组合
问题通常包含多种与时间相关的机组约束
条件，例如机组爬坡约束，机组此刻的出
力受上一时刻出力影响，同时也会影响未
来时刻的出力大小。因此，LSTM 非常适用
于处理机组组合这类较长的时间序列数据。
由于 LSTM 网络只能按顺序处理数据，
因此 LSTM 只能获取单向的信息无法得知
从后向前的信息。然而在机组组合问题中，
当前时刻的机组状态与过去和未来的机组
状态均存在紧密关系,单向的数据信息难以
反映机组组合数据的特征信息。为此，本文
采用 Bi-LSTM 网络模型,它对 LSTM 模型
进行了改进由两个 LSTM 网络组成，一个
负责信息的前向传输，另一个负责信息的
后向传输。最后，将两部分信息结合起来生
成新的向量，所有向后和向前方向的信息
形成 Bi-LSTM 的最终输出。
此外，为了解决网络模型的过拟合问
题，在 Bi-LSTM 层中采用了 Dropout 技
术每次更新参数时随机断开一定比例的神
经元，减弱神经元对某些局部特征的依赖
性，从而提高模型的泛化能力。
2.1.3 注意力机制
考虑到机组组合问题存在电力负荷预
测值、风速预测值等不同输入特征，其重要
程度也各不相同，需要进一步判断特征的
重要性并加以利用。注意力模型用于表示特
征和输出结果之间的相关性该模型通过特
征向量分配不同的注意力权重，突出关键
的影响因素，进而做出更加准确的机组组
合决策。本文使用前馈注意模型。注意力权
重 v 由 CNN-BiLSTM 网络输出的隐藏状态
h1 计算得出: vt=tanh（ht）将生成的关注权
重分配给对应的隐藏层状态使模型生成的关
注权重发挥作用。
2.2 数据预处理及模型框架
2.2.1 数据预处理
在构建学习模型时，以负荷预测值、风
速预测数据为样本输入序列，火电机组和
风电场的调度决策为输出序列，从而构建
机组组合输入-输出序列数据集;并将数据
集按一定比例划分为训练集和测试集。在模
型训练前，需要对数据集做预处理，以提
升决策结果的准确性。
(1)数据聚类
对于不同季节的气象条件与电力负荷，
其变化规律和变化幅度通常有较大差异。以
电力负荷变化为例，从图 2 可以看出负荷
特性表现出了季节性的差异面对差异较大
的负荷曲线，模型难以提取数据的准确特
征。若不加以区分地将样本数据一并输入学
习模型，则会得到一个折中的映射模型，
降低了预测结果的准确性。因此，在训练网
络模型之前，需要分别对负荷预测数据和
风速预测数据进行聚类处理。
 在实际应用中，利用机组组合的历史
样本数据来构建学习模型，完成模型的训
练过程。在进行次日机组组合决策时，只需
输入次日的电力负荷预测数据与风速预测
数据，即可通过学习模型的泛化快速得到
决策结果。当次日的实际决策完成后，可作
为新的样本数据输入到模型中进行学习，
进一步扩充历史样本数量从而提升模型预
图 2 不同季节的额负荷特性 测的准确度。
本文采用 K-means++聚类算法将电力
负荷曲线与风速曲线分类，以欧氏距离衡 2.3 网络模型训练策略
量曲线样本点之间的相似度。
(2）数据归一化 神经网络学习的目的是找到使损失函
在调度周期内多次启停的机组，其机 数值最小的参数，其本质是求解最优参数
组出力在启停时段近乎是阶跃变化的导致 问题。目前常用的梯度下降算法包括如动量
数据方差较大，不利于网络模型的学习。同 法、斯捷罗夫加速梯度法、Adam 法和随机梯
时，输入序列数据的不同特征具有不同量 度下降法等采用 Adam 算法对网络模型进行
纲，无法直接参与运算和比较。 训练，根据梯度下降法对权值 W 和偏置 b
为解决以上问题，可使用归一化方法 进行更新。
处原始数据:并且这种操作并非是对数据集 模型训练完成后，需要评估模型的精
整体，而是对每一列特征分别进行归一化 确性。为此，选取平均绝对误差
处理，这样做能够有效提升模型的训练效 (MeanAbsolute Error,MAE) 和 均 方 根 误 差
果。选取 MinMaxScaler 方法实现数据的归 (Root Mean Square Error,RMSE)作为评价
一化。 标准，对测试结果进行评估。

2.2.2 机组组合决策模型框架 2.4 网络参数及预测结果分析

基于 CNN-BiLSTM-AM 的机组组合决策 所采用的 CNN-BiLSTM-AM 网络模型参

模型的框架如图 3 所示。首先对原始数据进 数如表 2-1 所示，大量仿真实验表明,使
行归一化、聚类等预处理，并分为训练集和 用图 4 中参数能够使此模型有效提取机
测试集;然后将训练样本放入模型中进行训 组组合时间序列数据的深层特征从而获
练，其中 CNN 负责提取局部特征，Bi-LSTM 得更高的机组组合决策精度。
掌握数据对正向和反向的依赖关系:之后利
用注意力机制对模型进行微调,以提高模型
的准确性;模型训练完成后，将测试集数据
输入到模型中，得到机组组合决策:最后进
行结果评估。
图 4 网络参数
将处理好的训练集数据输入到神经网
络模型中进行学习:训练完成后，利用测试
集数据测试模型的训练效果。图 5 为模型
训练 350 次损失值变化情况，由图 5 可
以看出模型的收敛速度较快，随着训练次
图 3 网络训练集预测框架图 数的增加，损失值在不断减小且最终趋近
于 0，达到了较好的训练效果。
图 5 训练过程中的损失值变化
图 6 为基于 CNN-BiLSTM-AM 的机组组
合决策模型的预测结果。由于风电出力具有
间歇性和波动性，导致挖掘数据变化特征
具有一定的难度，进而使得风电出力预测
的误差偏大。此外，同一地区的负荷变化具
有一定的规律性，而火电机组出力受负荷
变化影响较大，因此火电机组出力的预测
效果较好。由图 6 可见,所提模型能够很好
地学习机组的启停变化特征，并准确预测
机组启停状态。
图 6 机组组合决策结果评估
2.5 小结
基于 CNN-BiLSTM-AM 的新能源电力系
统机组组合决策方法能够准确预测机组启
停状态，机组出力预测误差较低，模型的
总体学习效果较好。此模型结合了注意力机
制和 BiLSTM 模型的优点，使模型能够提
取双向的时序特征，并且更加关注有用的
特征信息，可以更为精准地预测机组组合
决策结果。采用的 k-means++聚类算法能够
有效提高预测的精确性;模型在训练过程使
用的 Adam 算法在精度上表现最好，训练
速度也较快。
3.基于深度强化学习的机组组合
调度算法
3.1 深度强化学习决策方法
（1）深度强化学习基本原理
深度强化学习的决策方式与深度学习
方法不同，无需给定样本的标签值;而是通
过智能体与环境交互的过程中不断试错，
更新优化策略，逐渐向奖励值高的优化方
向迭代寻优。上述决策方式是基于马尔科夫
决 策 过 程 (Markov
decisionprocess，MDP)来定义，它通常包
含状态空间、动作空间、奖励函数等必要组
成部分。深度强化学习的基本框架如图 7
所示。
图 7 深度强化学习框架图
深度强化学习方法具有深度学习强大
的特征提取和挖掘能力，同时兼顾了强化
学习解决序贯决策问题的能力;弥补了传统
强化学习方法缺乏的扩展能力，能够解决
较为复杂的决策问题。对于考虑不确定性的
电力系统机组组合问题，使用深度强化学
习方法，构建深度强化学习框架，实现端
到端的直接控制。在训练过程中考虑复杂运
行场景,探索电网环境、接收反馈的奖励值,
离线训练决策网络，形成人工智能体。因此，
深度强化学习在电力系统优化调度领域具
有重大应用潜力。
3.2 结合领域知识的深度强化学习模式
基于深度强化学习的机组组合策略寻
优过程如图 8 所示。如图 8 所示深度强化
学习智能体通过观测电网运行环境的实时
状态，在训练阶段利用 DDPG 算法，求解最
优的火电机组出力调整动作;在电网环境中 主要归纳为:第一，新能源出力的随机性、
引入电力系统机组组合领域知识，通过对 波动性，甚至反调峰特性造成了其纳入电
智能体调控策略的评价，将智能体动作的 网功率平衡的困难，为电力的可靠供应带
奖励值即时反馈给智能体，辅助智能体进 来较大风险，而依靠现有调度手段难以保
行探索和决策，沿着最大化奖励的方向进 障新能源的大规模消纳。第二，新型电力系
行学习。 统具有“高比例新能源”和“高比例电力
电子化”等特征，结构和工况更加多变，
电网运行机理更加复杂，难以对不确定因
素影响精细化建模;同时，海量运行数据正
在随着电网规模扩大继续快速增长，对电
力系统的数据分析、信息融合等技术提出了
新的要求因此，以数据驱动方法为指导，
提出了新能源电力系统机组组合决策方法
结合深度强化学习与领域知识的新能源电
力系统机组组合决策方法和考虑交流潮流
图 8 基于深度强化学习的机组组合策略寻 约束的数据驱动机组组合决策方法。一种新
优 能源电力系统机组组合决策方法，能有效
提取机组组合数据的深层特征，降低机组
3.3 小结 出力预测误差，在保证求解精度的同时提
升求解效率。基于 k-means++算法将历史数
基于深度强化学习的机组组合决策方 据聚类处理，并针对不同特征进行归一化
法可有效根据电网运行环境自动得出机组 将风速数据的时间尺度与负荷数据相匹配。
组合调整策略,实现了电网状态信息到发电 在模型训练过程中，利用 CNN 对数据进行
机有功出力最优调整的端到端控制，克服 特征提取，构建特征向量:并引入注意力机
了传统优化方法求解过程繁琐、计算效率较 制对输入信息赋予权重，突出重要特征影
低的弊端。 响;为增强模型对时序特征信息的提取能力，
采用 Bi-LSTM 提取前向与后向的特征信息。
4.结语 实验结果表明，所提模型具有较高的计算
精度，且适用性较高，可作为辅助性决策
传统电力系统向新型电力系统转型升 工具为调控人员提供参考。一种结合深度强
级的过程中，电力系统的能源结构、电网规 化学习与领域知识的新能源电力系统机组
模、用电模式等方面持续深刻变化，为电力 组合决策方法，增强了机器学习模型的决
系统的调控运行带来了挑战，这些挑战可 策能力与泛化能力。
参考文献 dispatch for integrated power-heat-gas microgrid
[1] 中共中央国务院关于完整准确全面贯彻新发展 considering wind power uncertainty[J]. Mathematical
理念做好碳达峰碳中和工作的意见[N].人民日报， Problems in Engineering，2020(9): 1-12
2021-10-25(001). [15] LU X ， LIU Z ， MA L, et al. A robust
[2] 习近平在第七十五届联合国大会一般性辩论上 optimization approach for optimal load dispatch of
发表重要讲话[N].人民日报 2020-09-23(001) community energy hub[J]. Applied
[3] 杜祥，冯丽妃碳达峰与碳中和引领能源革命 Energy，2020，259: 114195.
N].中国科学报，2020-12-22(001). [16] TAN J ，WU Q W ， HU Q R ，et al. Adaptive
[4] 柳璐，程浩忠，吴耀武，等.面向高比例可再 robust energy and reserve co-optimization of
生能源的输电网规划方法研究进展与展望 J].电力 integrated electricity and heating system considering
系统自动化，2021，45(13):176-183. wind uncertainty[J].Applied Energy ， 2020 ， 260:
[5] 卓振宇，张宁，谢小荣，等.高比例可再生能 114230.
源电力系统关键技术及发展挑战[J].电力系统自 [17] WEI W，LIU F，MEI S，et al. Robust energy
动化，2021，45 (9:171-191 and reserve dispatch under variablerenewable
[6] 谢小荣，贺静波，毛航银，等.“双高”电力 generationJ].IEEE Transactions on Smart
系统稳定性的新问题及分类探讨[J].中国电机工 Grid，2015，6(1): 369-380
程学报，2021，41(02): 461-475. [18] 朱嘉远，刘洋，许立雄，等.考虑风电消纳的
[7] 舒印彪，陈国平，贺静波，等.构建以新能源 热电联供型微网日前鲁棒经济调度[J].电力系统
为主体的新型电力系统框架研究[J].中国工程科 自动化，2019，43(4): 40-48.
学，2021，23(06):61-69. [19] 张津，王旭，蒋传文，等.新型城镇下含热电
[8] 赵晋泉，夏雪，徐春雷，等.新一代人工智能 联产机组的配电网两阶段鲁棒优化调度 [J].电力
技术在电力系统调度运行中的应用评述[]].电力 系统自动化，2019，43(23): 155-163.
系统自动化，2020，44(24): 1-10. [20] EBRAHIMI M R，AMJADY NAdaptive robust
[9] 李明节，陶洪铸，许洪强，等.电网调控领域 optimization framework forday-ahead microgrid
人 工 智 能 技 术 框 架 与 应 用 展 望 [J]. 电 网 技 术 ， scheduling[J. International Journal of Electrical Power
2020，44(02): 393-400. &Energy Systems，2019，107: 213-223.
[10] 周念成，廖建权，王强钢，等.深度学习在智 [21] SHAMS MH ， SHAHABI
能电网中的应用现状分析与展望[J].电力系统自 M ， MANSOURLAKOURAJ M ， etal.
动化，2019，43(04): 180-191. Adjustablerobust optimization approach for two-stage
[11] 范士雄，李立新，王松岩，等.人工智能技术 operation of energyhub-basedmicrogrids[J].
在 电 网 调 控 中 的 应 用 研 究 [J]. 电 网 技 术 ， Energy，2021，1: 119894.
2020，44(02): 401-411. [22] Qiu H F ， You F Q. Decentralized-distributed
[12]Li Y, Zou Y, Tan Y,et al. Optimal stochastic robust electric power schedulingfor multi-microgrid
operation of integratedlow-carbon electric power, systems[J]. Applied Energy，2020，269(1): 115146.
natural gas and heat delivery system[J]. EEE [23] Liu Y，Ye YL， Chen X B, et al. Robust day-
Transactions on Sustainable Energy ， 2017 ， 9(1): ahead dispatch for integrated power.heat-gas
273-283. microgrid considering wind power
[13] Zhang X, Che L, Shahidehpour M, et al. uncertainty[J].Mathematical Problemsin
Electricity-natural gasoperation planning with hourly Engineering，2020(9): 1-12
demand response for deployment offlexible ramp[J] . [24] Zhang Z ， Chen Y ， Ma J ， et al. Two-Stage
IEEE Transactions on Sustainable Robust Security Constrained UnitCommitment
Energy，2017，7(3): 996-1004. Considering the Spatiotemporal Correlation of
[14] Liu Y,Ye YL, Chen X B, et al. Robust day-ahead UncertaintyPrediction Error[]. IEEE
Access，2019，7: 22891-22901.
[25] 张智，陈艳波，刘芳，等.计及运行风险和需
求响应的两阶段鲁棒机组组合模型[J].中国电机
工程学报，2021，41(03): 961-973.
[26] Chen Y，Zhang Z，Zhang P，et al. Robust N-k
CCUC Model Considering theFault Outage
Probability of Units and Transmission LinesJ]. IET
Generation,Transmission &
Distribution，2019，1317): 3782-3791.
[27] 葛晓琳，郝广东，夏，等.高比例风电系统的
优化调度方法 .电网技术， 2019，43(02): 390-
400.
[28] 黄越辉，曲凯，李驰，等.基于 K-meansMCMC
算法的中长期风电时间序列建模方法研究[J].电
网技术，2019，43(7): 269-2476.
[29] 文旭，陈鑫，张爱枫，等.含可调节负荷的风
光互补微电网随机调度市场风险管控方法[J].电
网技术，2021，45(11): 4308-4318.
[30] 王会超，秦昊，周昶，等.计及新能源预测不
确定性的跨区域日前一日内调度模型 J.电力系统
自动化，2019，43(19): 60-67.
[31] S. Chang ， Xile Wei, Fei Su, et al. Model
Predictive Control for SeizureSuppression Based on
Nonlinear Auto-Regressive Moving-Average
VolterraModel[J]. IEEE Transactions on Neural
Systems and Rehabilitation
Engineering;2020，28(10): 2173-2183.
[32] 张涛，穆云飞，贾宏杰，等.含电力电子变压
器 的交直流 配电网随机运行优化 [J].电网技术 ，
2022，46(03): 860-869.
[33] 王帅，杜欣慧，姚宏民，等.面向含多种用户
类 型 的 负 荷 曲 线 聚 类 研 究 J]. 电 网 技 术 ，
2018，42(10): 3401-3412.
[34] 董骁肿，张妹，李烨，等.电力系统中时序场
景 生 成 和 约 简 方 法 研 究 综 述 [J] 电 网 技 术 :1-
13[2022-03-14]
[35] 董 骁 ， 孙 英 云 ， 蒲 天 骄 ， 等 . 一 种 基 于
Wasserstein 距离及有效性指标的最优场景约简
方法[J]中国电机工程学报，2019，39(16):4650-
4658+4968.