CN112117760A - 基于双q值网络深度强化学习的微电网能量调度方法 - Google Patents

基于双q值网络深度强化学习的微电网能量调度方法 Download PDF

Info

Publication number
CN112117760A
CN112117760A CN202010812190.2A CN202010812190A CN112117760A CN 112117760 A CN112117760 A CN 112117760A CN 202010812190 A CN202010812190 A CN 202010812190A CN 112117760 A CN112117760 A CN 112117760A
Authority
CN
China
Prior art keywords
microgrid
energy
power
storage system
energy storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010812190.2A
Other languages
English (en)
Inventor
高强
毕文正
朱逸芝
张晶
李建飞
藏玉清
陈迪雨
董伟
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Zhejiang University ZJU
Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202010812190.2A priority Critical patent/CN112117760A/zh
Publication of CN112117760A publication Critical patent/CN112117760A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/001—Arrangements for handling faults or abnormalities, e.g. emergencies or contingencies
    • H02J3/0014—Arrangements for handling faults or abnormalities, e.g. emergencies or contingencies for preventing or reducing power oscillations in networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/008—Circuit arrangements for power supply or distribution technologies responsive to energy trading
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/28—Arrangements for balancing of the load in networks by storage of energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/28—Arrangements for balancing of the load in networks by storage of energy
    • H02J3/32—Arrangements for balancing of the load in networks by storage of energy using batteries or super capacitors with converting means
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for AC mains or AC distribution networks
    • H02J3/38—Arrangements for feeding a single network from two or more generators or sources in parallel; Arrangements for feeding already energised networks from additional generators or sources in parallel
    • H02J3/381—Dispersed generators
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2101/00—Supply or distribution of decentralised, dispersed or local electric power generation
    • H02J2101/20—Dispersed power generation using renewable energy sources
    • H02J2101/22—Solar energy
    • H02J2101/24—Photovoltaics
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2101/00—Supply or distribution of decentralised, dispersed or local electric power generation
    • H02J2101/20—Dispersed power generation using renewable energy sources
    • H02J2101/28—Wind energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2101/00—Supply or distribution of decentralised, dispersed or local electric power generation
    • H02J2101/40—Hybrid power plants, i.e. a plurality of different generation technologies being operated at one power plant
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2103/00—Details of circuit arrangements for mains or AC distribution networks
    • H02J2103/30—Simulating, planning, modelling, reliability check or computer assisted design [CAD] of electric power networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—ELECTRIC POWER NETWORKS; CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2103/00—Details of circuit arrangements for mains or AC distribution networks
    • H02J2103/30—Simulating, planning, modelling, reliability check or computer assisted design [CAD] of electric power networks
    • H02J2103/35—Grid-level management of power transmission or distribution systems, e.g. load flow analysis or active network management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/56—Power conversion systems, e.g. maximum power point trackers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E70/00—Other energy conversion or management systems reducing GHG emissions
    • Y02E70/30—Systems combining energy storage with energy generation of non-fossil origin

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于双Q值网络深度强化学习的微电网能量调度方法，将微电网的一天预测信息当作生成最优控制策略的训练集，训练一个独立于微电网环境、以储能系统作为控制对象的智能体，通过对储能系统的充放电动作进行控制来实现微电网的运行花费最小和对公共电网功率波动最小的双重优化目标。该方法因其不依赖于具体微电网模型的构建，并且由奖励函数的设计来引导策略实现微电网运行的目标，可以获得全局时间的最优策略，能够有效解决新能源发电和用户负荷分布的不确定性导致的功率不平衡。

Description

基于双Q值网络深度强化学习的微电网能量调度方法
技术领域
本发明涉及电力工程技术领域，具体涉及微电网运行控制与能量调度领域。
背景技术
日益受到关注的环境问题和灵活的交易机制给电力系统的设计和运行带来了新的挑战。发展可再生能源作为解决能源危机的主要手段，催生了由分布式能源、储能和负荷构成的微电网。然而，由于光伏或风力发电等可在生能源天然的间歇性和随机性，难以对其直接安排生产计划，这对电网的平衡产生不利影响。意外的功率变化导致的功率不平衡需要承担昂贵的后备设备或服务的花费，从而会显着降低微电网的经济性。解决此问题的有效措施之一是使用传统的基于模型的控制方法对不同种类的储能装置进行调度，这需要对微电网进行精确建模并通过设计预测器和求解器获得最优策略。
发明内容
本发明所要解决的技术问题就是提供一种基于双Q值网络深度强化学习的微电网能量调度方法，采用最优策略对不同种类的储能装置进行调度，解决意外的功率变化导致的功率不平衡问题，保证微电网的经济性。
为解决上述技术问题，本发明采用如下技术方案：
基于双Q值网络深度强化学习的微电网能量调度方法，包括如下步骤：
步骤(1)：依据所控新能源微电网建立与之对应的仿真模型，在日前调度阶段，获得未来一天各时段的各种可再生能源的出力、与微电网连接的主电网的实时电价以及负荷需求，并将其作为智能体的训练数据；
步骤(2)：定义强化学习算法框架下与微电网仿真模型相对应训练环境，包括如下子步骤：
(2.1)定义环境状态空间：包括从当前调度时刻到k时刻前的微电网外在状态信息构成状态空间的外在部分、储能系统的荷电状态构成状态空间的可控部分、每次调度的时间信息h(t)构成状态空间的时间部分ST；
(2.2)定义智能体动作空间：每次调度智能体对储能系统的充放电行为进行控制：
(2.3)定义奖励函数：用来引导智能体实现预定微电网优化目标，；
(2.4)设置储能系统后备控制器：以保证智能体产生的动作不会超出储能系统的荷电状态上下限值；
(2.5)执行实际控制指令：储能系统根据实际控制指令充放电；
(2.6)与主电网交互：微电网通过公共节点与主电网连接，依靠主电网达到最终的功率平衡，若新能源发电和储能系统不能满足本地负荷需求，则从主电网以实时电价购电；若储能系统以最大功率存储新能源发电的多余电量后仍有剩余电量，则将其回馈给主电网；
步骤(3)：采用双Q网络深度强化学习：对步骤(2)定义的强化学习训练环境进行多次训练，将一次训练作为一幕，在一天时间上反复进行多幕训练直至总奖励值收敛；
步骤(4)：将步骤(3)训练好的智能体应用于一天的实时调度，在每个调度时段，将此时微电网的状态信息输入评估神经网络并选取使Q值最大的动作为输出动作，经后备控制器转换为实际指令用于储能系统的控制。
优选的，微电网的分布式可再生能源出力由风力发电和光伏发电组成，用户连接于微电网并配备了储能系统，微电网通过公共节点与主电网连接，并实时获得主电网的电价。
优选的，所述步骤(1)包括如下步骤：
I)考虑充分利用各可再生能源以满足负荷要求，并通过储能系统存储剩余电量以供后续使用，功率平衡关系如下：
Figure BDA0002631372820000031
其中，DG为分布式可再生能源的集合，Pi(t)为第i个可在生能源在时段t的出力，PRES(t)为各种可再生能源发电在t时段的输出功率之和，PLoad(t)为负荷在t时段的功率需求，PBalance(t)为负荷与可再生能源的功率差值，正数代表生产不足，负数代表生产过剩，PESS(t)为储能系统的充放电功率，由能量管理系统控制其输出，正数为充电功率，负数为放电功率；PGrid(t)为微电网与主电网之间的功率交换，正数代表从主电网购电，负数代表向主电网反馈电能；
II)能量管理系统控制目标设为微电网运行花费最小以及与主网交换功率波动最小双重目标，在实时电价环境下，微电网获得最高效益的同时减小负荷与生产不平衡造成的峰谷差值，优化目标如下：
Figure BDA0002631372820000032
其中，C(t)为各时段微电网运行的总花费；γ(t)为每个调度时段主电网的实时电价；Δ为每次的调度时间范围；SoC(t)为储能系统的荷电状态，要求约束在一定范围内以保证电池的使用寿命；储能系统的充放电功率PESS(t)和可再生能源发电的总出力PRES(t)根据微电网具体配置而限定；T为总的时段数。
优选的，步骤(2.1)中，在每个时段从数据采集与监视控制系统获得能够表征微电网动态的外在状态信息，分别为可再生能源总发电功率PRES(t)，用户负荷PLoad(t)，市场实时电价γ(t)，选择从当前调度时刻到k时刻前的微电网外在状态信息构成状态空间的外在部分，即：
sE(t)＝{PRES(t-k),PLoad(t-k),γ(t-k)...PRES(t),PLoad(t),γ(t)}∈SE (3)
储能系统的荷电状态SoC(t)根据智能体的动作而改变，构成状态空间的可控部分：
sC(t)＝{SoC(t)}∈SC (4)
此外，每次调度的时间信息h(t)也被加入状态空间中，构成状态空间的时间部分ST，于是状态空间S可以表示为：
S＝SE×SC×ST (5)
步骤(2.2)中，离散化动作空间A定义为{0,1,2}，其中动作0表示使储能系统处于闲置状态，动作1表示利用新能源产生的电量给储能系统充电，动作2表示储能系统放电供用户使用；
步骤(2.3)中，对于经济调度，最大化长期奖励即为最小化负的电网运行费用：
r(t)＝-C(t) (6)。
优选的，步骤(2.4)中，若智能体的动作值使得储能系统的荷电状态超过限值，则实际的控制指令b(t)设为闲置，即：
Figure BDA0002631372820000041
其中，b(t)为储能系统实际收到的控制指令，智能体对此并不知悉，但仍然能够接收指令执行后微电网的状态信息以及奖励函数，以进行策略改进；
步骤(2.5)中，若b(t)为1，则储能系统在新能源发电满足本地负荷并有剩余电量的情况下，尽可能的储存超出的发电量，但其功率不会超过最大充电功率，若b(t)为2，则储能系统释放电能以弥补新能源发电不足所缺的电力供用户使用，但其功率不会超过最大放电功率。
优选的，步骤(3)包括以下子步骤：
(3.1)定义Q值函数：使用Q值评估策略π，定义为状态s下采用动作a后未来累积折扣奖励的期望值：
Figure BDA0002631372820000051
其中，γ为折扣因子；
最优策略定义为在整个状态空间下采取使Q值最大的动作的策略，即：
Figure BDA0002631372820000052
其中，Q*(s,a)为最优Q值，π*为最优策略；
(3.2)构建双Q网络：使用神经网络逼近最优Q值；
(3.3)随机环境探索：对智能体进行训练时，使用了逐渐减小的环境探索策略；
(3.4)经验回放：使用经验回放机制训练数据的相关性和非平稳分布问题。
优选的，步骤(3.2)为了使算法性能更加稳定，分别构建估计网络和目标网络，两个网络结构完全相同但是参数不同，估计网络使用最新的参数并不断通过学习更新网络参数，而目标网络的参数每隔一段时间由估计网络复制而来。
优选的，步骤(3.3)，智能体按照一定概率随机选择动作以更好地探索环境，寻找一定状态下使奖励最大化的动作，随着训练次数的不断增加，探索概率不断减小直至完全采取使Q值最大的动作，并最终收敛到最优策略。
优选的，步骤(3.4)设置一个固定容量的经验池以存储不同时刻的训练数据(st,at,rt+1,st+1)，在训练初期，智能体随机动作产生足够的训练数据，填满经验池后随机从经验池中随机选取一组数据进行学习并更新神经网络，并在策略执行中不断获取新的训练数据来更新经验池。
本发明将微电网的能量调度控制问题描述为强化学习框架下的马尔可夫决策过程，通过在一天的预测信息上训练一个与环境不断交互的智能体以获得最优策略，其不需要对微电网进行精确建模，一旦训练完成就可以运用于微电网的实时调度，具有很强的可移植性。训练使用一天的预测数据作为训练集进行反复训练，直至电网总花费收敛，并将训练好的智能体用于一天的实时调度。
在实时调度阶段，根据每个调度时段的状态信息输入即可得到最优策略下的动作值，并依此对储能系统进行充放电控制，以达到运行花费最小和对公共电网功率波动最小的双重优化目标。
该方法因其不依赖于具体微电网模型的构建，并且由奖励函数的设计来引导策略实现微电网运行的目标，可以获得全局时间的最优策略，能够有效解决新能源发电和用户负荷分布的不确定性导致的功率不平衡。
本发明的具体技术方案及其有益效果将会在下面的具体实施方式中进行详细的说明。
附图说明
图1为含有可再生能源的混合微电网系统能量流动示意图；
图2为本地负荷日前功率的预测值与实际所需功率值；
图3为风力发电机组日前功率的预测值与实际发电功率输出值；
图4为光伏发电机组日前功率的预测值与实际发电功率输出值；
图5为日前实时电价的预测值与实际实时电价的分布图；
图6为实际调度中储能系统荷电状态和智能体的动作值；
图7为不同随机数种子下奖励值随训练幕数变化；
图8为负荷生产平衡电能曲线与电网间交换电能曲线；
图9为储能系统充放电能曲线与电网间交换电能曲线；
图10为时段运行费用与电价曲线。
具体实施方式
下面对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。
本发明涉及一种微电网系统能量调度优化方法，将微电网的能量调度控制问题描述为强化学习框架下的马尔可夫决策过程，通过在一天的预测信息上训练一个与环境不断交互的智能体以获得最优策略。
本发明的目的是提出一种用于控制储能系统充放电的来达到能量调度效果的方法，该方法通过定义状态和动作空间并设计对应优化目标的奖励函数，引导智能体学习到以微电网经济运行和与主电网功率交换最小为目标的策略。
基于双Q值网络深度强化学习的微电网能量调度方法，包括如下步骤：
步骤(1)：依据所控新能源微电网建立与之对应的仿真模型，在日前调度阶段，运用已有技术手段预测得出未来一天各时段的各种可再生能源的出力、与微电网连接的主电网的实时电价以及负荷需求，并将其作为智能体的训练数据。
其中，微电网仿真模型的建立以及智能体训练数据的预测均可以采用现有技术。
I)考虑充分利用各可再生能源以满足负荷要求，并通过储能系统存储剩余电量以供后续使用，功率平衡关系如下：
Figure BDA0002631372820000081
其中，DG为分布式可再生能源的集合，Pi(t)为第i个可在生能源在时段t的出力，PRES(t)为各种可再生能源发电在t时段的输出功率之和，PLoad(t)为负荷在t时段的功率需求，PBalance(t)为负荷与可再生能源的功率差值，正数代表生产不足，负数代表生产过剩，PESS(t)为储能系统的充放电功率，由能量管理系统控制其输出，正数为充电功率，负数为放电功率；PGrid(t)为微电网与主电网之间的功率交换，正数代表从主电网购电，负数代表向主电网反馈电能。
II)能量管理系统控制目标设为微电网运行花费最小以及与主网交换功率波动最小双重目标，在实时电价环境下，微电网获得最高效益的同时减小负荷与生产不平衡造成的峰谷差值，优化目标如下：
Figure BDA0002631372820000082
其中，C(t)为各时段微电网运行的总花费；γ(t)为每个调度时段主电网的实时电价；Δ为每次的调度时间范围；SoC(t)为储能系统的荷电状态，要求约束在一定范围内以保证电池的使用寿命；储能系统的充放电功率PESS(t)和可再生能源发电的总出力PRES(t)根据微电网具体配置而限定；T为总的时段数。
步骤(2)：定义强化学习算法框架下与微电网仿真模型相对应训练环境，具体包括以下子步骤：
(2.1)定义环境状态空间：在每个时段从数据采集与监视控制系统(参见现有技术)获得能够表征微电网动态的外在状态信息，分别为可再生能源总发电功率PRES(t)(即各种可再生能源发电在t时段的输出功率之和)，用户负荷PLoad(t)(即负荷在t时段的功率需求)，市场实时电价γ(t)(即每个调度时段主电网的实时电价)，选择从当前调度时刻到k时刻前的微电网外在状态信息构成状态空间的外在部分，即：
sE(t)＝{PRES(t-k),PLoad(t-k),γ(t-k)...PRES(t),PLoad(t),γ(t)}∈SE (12)
储能系统的荷电状态SoC(t)根据智能体的动作而改变，构成状态空间的可控部分：
sC(t)＝{SoC(t)}∈SC (13)
此外，每次调度的时间信息h(t)也被加入状态空间中，构成状态空间的时间部分ST，于是状态空间S可以表示为：
S＝SE×SC×ST (14)。
(2.2)定义智能体动作空间：每次调度智能体对储能系统的充放电行为进行控制。
离散化动作空间A定义为{0,1,2}，其中动作0表示使储能系统处于闲置状态，动作1表示利用新能源产生的电量给储能系统充电，动作2表示储能系统放电供用户使用。
(2.3)定义奖励函数：奖励函数用来引导智能体实现预定微电网优化目标。
对于经济调度，最大化长期奖励即为最小化负的电网运行费用：
r(t)＝-C(t) (15)。
(2.4)设置储能系统后备控制器：在储能系统设置后备控制器以保证智能体产生的动作不会超出储能系统的荷电状态上下限值。
若智能体的动作值使得储能系统的荷电状态超过限值，则实际的控制指令b(t)设为闲置，即：
Figure BDA0002631372820000101
其中，b(t)为储能系统实际收到的控制指令，智能体对此并不知悉，但仍然能够接收指令执行后微电网的状态信息以及奖励函数，以进行策略改进。
(2.5)执行实际控制指令：储能系统根据实际控制指令充放电。
若b(t)为1，则储能系统在新能源发电满足本地负荷并有剩余电量的情况下，尽可能的储存超出的发电量，但其功率不会超过最大充电功率，若b(t)为2，则储能系统释放电能以弥补新能源发电不足所缺的电力供用户使用，但其功率不会超过最大放电功率；
(2.6)与主电网交互：微电网通过公共节点与主电网连接，依靠主电网达到最终的功率平衡。
若新能源发电和储能系统不能满足本地负荷需求，则从主电网以实时电价购电；若储能系统以最大功率存储新能源发电的多余电量后仍有剩余电量，则将其回馈给主电网。
步骤(3)：对步骤(2)定义的强化学习训练环境进行多次训练，将一次训练作为一幕，在一天时间上反复进行多幕训练直至总奖励值收敛，具体包括以下子步骤：
(3.1)定义Q值函数：使用Q值评估策略π，定义为状态s下采用动作a后未来累积折扣奖励的期望值：
Figure BDA0002631372820000102
其中，γ为折扣因子，其大小的设定关系到智能体对后续时段奖励的远视能力。γ应根据优化需求设置，若要求智能体具有较强的远视能力，γ值应接近于1以增加未来奖励占总奖励的比重，但同时也可能会导致忽视短期内的奖励。
最优策略定义为在整个状态空间下采取使Q值最大的动作的策略，即：
Figure BDA0002631372820000111
其中，Q*(s,a)为最优Q值，π*为最优策略。
(3.2)构建双Q网络：使用神经网络逼近最优Q值，为了使算法性能更加稳定，分别构建估计网络和目标网络。两个网络结构完全相同但是参数不同，估计网络使用最新的参数并不断通过学习更新网络参数，而目标网络的参数每隔一段时间由估计网络复制而来。
(3.3)随机环境探索：对智能体进行训练时，使用了逐渐减小的环境探索策略。智能体按照一定概率随机选择动作以更好地探索环境，寻找一定状态下使奖励最大化的动作，随着训练次数的不断增加，探索概率不断减小直至完全采取使Q值最大的动作，并最终收敛到最优策略。
(3.4)经验回放：使用经验回放机制训练数据的相关性和非平稳分布问题。设置一个固定容量的经验池以存储不同时刻的训练数据(st,at,rt+1,st+1)，在训练初期，智能体随机动作产生足够的训练数据，填满经验池后随机从经验池中随机选取一组数据进行学习并更新神经网络，并在策略执行中不断获取新的训练数据来更新经验池。
步骤(4)：将步骤(3)训练好的智能体应用于一天的实时调度，在每个调度时段，将此时微电网的状态信息输入评估神经网络并选取使Q值最大的动作为输出动作，经后备控制器转换为实际指令用于储能系统的控制。
为了说明本发明效果，下面以某一新能源微电网系统作为本发明的实施对象对本发明方法进行详细说明：
步骤(1)：依据所控新能源微电网建立与之对应的仿真模型，微电网结构如图1所示，分布式可再生能源出力由风力发电和光伏发电组成，用户连接于微电网并配备了储能系统，微电网通过公共节点与主电网连接，并实时获得主电网的电价。在日前调度阶段，预测得出未来一天各时段的风力和光伏发电出力、与微电网连接的主电网的实时电价以及负荷需求，并用此预测数据训练智能体，所需含有预测误差的数据如图2-5所示，预测误差满足高斯分布。
I)考虑充分利用各可再生能源以满足负荷要求，并通过储能系统存储剩余电量以供后续使用，微电网充分利用储能系统中的电能以减少运行费用，并与主电网进行功率交换以达到最终功率平衡，依据公式(1)，具体功率平衡关系为：
Figure BDA0002631372820000121
其中，PPV(t)为光伏发电在t时段的输出功率，PWT(t)为风力发电在t时段的输出功率。
II)优化目标描述为最小化一天内从主电网购电的费用，根据公式(2)可以具体表示为：
Figure BDA0002631372820000122
其中，γ(t)为每个调度时段主电网的实时电价；Δ为每次的调度时间范围，T为总的时段数，本实例将一天划分为48个时间段进行调度，于是每次调度时间范围Δ为30分钟；SoC(t)为储能系统的荷电状态，本实例最小荷电状态设置为0.2，最大设置为0.9，最大容量为2.4MWh；储能系统的最大充放电功率PESS(t)和可再生能源发电的总出力PRES(t)根据微电网具体配置分别设置为400kW和1000kW。
步骤(2)：定义强化学习算法框架下与微电网仿真模型相对应训练环境，具体包括以下子步骤：
(2.1)定义环境状态空间：每个时段从数据采集与监视控制系统获得能够表征微电网动态的外在状态信息，分别为可再生能源总发电功率PRES(t)，用户负荷PLoad(t)，市场实时电价γ(t)，选择从当前调度时刻到一个调度时刻前的微电网外在状态信息构成状态空间的外在部分，即：
sE(t)＝{PRES(t-1),PLoad(t-1),γ(t-1),PRES(t),PLoad(t),γ(t)}∈SE (12)
储能系统的荷电状态SoC(t)根据智能体的动作而改变，构成状态空间的可控部分：
sC(t)＝{SoC(t)}∈SC (13)
此外，每次调度的时间信息h(t)也被加入状态空间中，根据此次调度所处时段选取，即h(t)∈[1,2...24]，从构成状态空间的时间部分ST，于是状态空间S可以表示为：
s(t)＝{PRES(t-1),PLoad(t-1),γ(t-1),PRES(t),PLoad(t),γ(t),SoC(t),h(t)}∈S (14)
(2.2)定义智能体动作空间：每次调度智能体对储能系统的充放电行为进行控制，离散化动作空间A定义为{0,1,2}，其中动作0表示使储能系统处于闲置状态，动作1表示利用新能源产生的电量给储能系统充电，动作2表示储能系统放电供用户使用，图6给出了实际仿真实时调度中智能体动作值与储能系统的荷电状态在一天中的变化曲线。
(2.3)定义奖励函数：每个调度时段结束后，根据公式(6)计算奖励值，使用预测的主电网实时电价计算整个调度内从电网购电的价格，并将其从训练环境返回给智能体，智能体根据不断获得的奖励更新Q值，本实例使用的奖励函数为：
r(t)＝-C(t)＝-γ(t)PGrid(t)Δ (15)
(2.4)设置储能系统后备控制器：在储能系统设置后备控制器以保证智能体产生的动作不会超出储能系统的荷电状态上下限值，若智能体的动作值使得储能系统的荷电状态超过限值，则实际的控制指令b(t)设为闲置，根据储能系统荷电状态的上下限值，具体设置为：
Figure BDA0002631372820000141
(2.5)执行实际控制指令：储能系统根据实际控制指令充放电，若b(t)为1，则储能系统在新能源发电满足本地负荷并有剩余电量的情况下，尽可能的储存超出的发电量，但其功率不会超过最大充电功率，若b(t)为2，则储能系统释放电能以弥补新能源发电不足所缺的电力供用户使用，但其功率不会超过最大放电功率。
(2.6)与主电网交互：微电网通过公共节点与主电网连接，依靠主电网达到最终的功率平衡，若新能源发电和储能系统不能满足本地负荷需求，则从主电网以实时电价购电；若储能系统以最大功率存储新能源发电的多余电量后仍有剩余电量，则将其回馈给主电网。
步骤(3)：对步骤(2)定义的强化学习训练环境进行多次训练，将一次训练作为一幕，在一天时间上反复进行多幕训练直至总奖励值收敛，具体包括以下子步骤：
(3.1)定义Q值函数：使用公式(8)所定义的Q值函数，γ设置为0.95以使智能体有足够的远视能力，能够充分考虑未来微电网情况做出动作。
(3.2)构建双Q网络：使用神经网络逼近最优Q值，为了使算法性能更加稳定，分别构建估计网络和目标网络，两个网络结构完全相同但是参数不同，估计网络使用最新的参数并不断通过学习更新网络参数，本实例使用全连接层构成估计网络和目标网络，其含有两个神经元个数分别为500和200个的隐藏层，激活函数都为ReLU,具体的，通过目标网络制造学习目标来更新估计网络的参数，目标yj由下式计算获得：
Figure BDA0002631372820000151
其中，θ-和Qtarget分别为目标网络的参数和拟合的Q值，θ和Qeval分别为估计网络的参数和拟合的Q值。以误差||yj-Qeval(st+1,a；θ)||2做梯度下降来更新估计网络的参数θ，而目标网络的参数θ-每隔10个训练步由估计网络复制而来。
(3.3)随机环境探索：对智能体进行训练时，使用了分阶段逐渐减小的环境探索策略，训练总共持续800幕，在前300幕的训练过程中智能体有0.15的几率随机选择动作，在300到700幕时智能体有0.05的几率随机选择动作，在700幕之后智能体不再进行随机环境探索，而是完全采取使Q值最大的动作，并最终收敛到最优策略。
(3.4)训练经验回放：使用经验回放机制训练数据的相关性和非平稳分布问题，设置一个容量为10000的经验池以存储不同时刻的训练数据(st,at,rt+1,st+1)，在训练初期，智能体随机动作产生足够的训练数据，填满经验池后随机从经验池中随机选取100组数据进行学习并更新神经网络，并在策略执行中不断获取新的训练数据来更新经验池。
步骤(4)：将步骤(3)训练好的智能体应用于一天的实时调度，储能系统的初始荷电状态设置为0.5，在每个调度时段，将此时微电网的状态信息输入评估神经网络并选取使Q值最大的动作为输出动作，经后备控制器转换为实际指令用于储能系统的控制。
为达到较好的训练效果，本实例在不同随机数种子下对智能体进行了多次训练，并选取收敛结果最好的一次用于真实数据下的实时调度。图7通过不同随机数种子下奖励值随训练幕数变化证明了方法的收敛性。运用训练好的智能体模拟微电网储能系统的实时调度，得到更为合理的充放电方案，其能够在新能源发电充足的时候将多余的电能储存，并在分布式能源发电不足的情况下选择放电，或者在电价较低的时刻从主电网购电，使得微电网运行花费最小，同时最小化与主电网的功率交换。所提能量管理方法可以使得间歇性，随机性及不确定性较强的可再生能源得以充分利用，并有效的减小对公共电网的功率波动冲击，图8-9展现了智能体控制策略对微电网运行有“削峰填谷”的作用。图10展现了控制策略能够在电价低的时刻从电网购电，而其他时刻则尽量利用储能系统中的电能来弥补本地可再生能源发电的不足。
综上，本发明作为一种新型的基于学习的无模型调度策略生成方法，将微电网的一天预测信息当作生成最优控制策略的训练集，训练一个独立于微电网环境、以储能系统作为控制对象的智能体，通过对储能系统的充放电动作进行控制来实现微电网的运行花费最小和对公共电网功率波动最小的双重优化目标。智能体通过不断与微电网环境进行交互并得到由环境给出的奖励值，并不断进行策略改进以得到使总奖励值最大的最优策略。在实际调度过程中，智能体根据微电网监测到的状态信息做出最优策略下的控制动作，而无需对微电网进行精确建模。该方法因其不依赖于具体微电网模型的构建，并且由奖励函数的设计来引导策略实现微电网运行的目标，可以获得全局时间的最优策略，能够有效解决新能源发电和用户负荷分布的不确定性导致的功率不平衡。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (9)

1.基于双Q值网络深度强化学习的微电网能量调度方法，其特征在于，包括如下步骤：
步骤(1)：依据所控新能源微电网建立与之对应的仿真模型，在日前调度阶段，获得未来一天各时段的各种可再生能源的出力、与微电网连接的主电网的实时电价以及负荷需求，并将其作为智能体的训练数据；
步骤(2)：定义强化学习算法框架下与微电网仿真模型相对应训练环境，包括如下子步骤：
(2.1)定义环境状态空间：包括从当前调度时刻到k时刻前的微电网外在状态信息构成状态空间的外在部分、储能系统的荷电状态构成状态空间的可控部分、每次调度的时间信息h(t)构成状态空间的时间部分ST；
(2.2)定义智能体动作空间：每次调度智能体对储能系统的充放电行为进行控制：
(2.3)定义奖励函数：用来引导智能体实现预定微电网优化目标，；
(2.4)设置储能系统后备控制器：以保证智能体产生的动作不会超出储能系统的荷电状态上下限值；
(2.5)执行实际控制指令：储能系统根据实际控制指令充放电；
(2.6)与主电网交互：微电网通过公共节点与主电网连接，依靠主电网达到最终的功率平衡，若新能源发电和储能系统不能满足本地负荷需求，则从主电网以实时电价购电；若储能系统以最大功率存储新能源发电的多余电量后仍有剩余电量，则将其回馈给主电网；
步骤(3)：采用双Q网络深度强化学习：对步骤(2)定义的强化学习训练环境进行多次训练，将一次训练作为一幕，在一天时间上反复进行多幕训练直至总奖励值收敛；
步骤(4)：将步骤(3)训练好的智能体应用于一天的实时调度，在每个调度时段，将此时微电网的状态信息输入评估神经网络并选取使Q值最大的动作为输出动作，经后备控制器转换为实际指令用于储能系统的控制。
2.根据权利要求1所述的基于双Q值网络深度强化学习的微电网能量调度方法，其特征在于：微电网的分布式可再生能源出力由风力发电和光伏发电组成，用户连接于微电网并配备了储能系统，微电网通过公共节点与主电网连接，并实时获得主电网的电价。
3.根据权利要求1所述的基于双Q值网络深度强化学习的微电网能量调度方法，其特征在于：所述步骤(1)包括如下步骤：
I)考虑充分利用各可再生能源以满足负荷要求，并通过储能系统存储剩余电量以供后续使用，功率平衡关系如下：
Figure FDA0002631372810000021
其中，DG为分布式可再生能源的集合，Pi(t)为第i个可在生能源在时段t的出力，PRES(t)为各种可再生能源发电在t时段的输出功率之和，PLoad(t)为负荷在t时段的功率需求，PBalance(t)为负荷与可再生能源的功率差值，正数代表生产不足，负数代表生产过剩，PESS(t)为储能系统的充放电功率，由能量管理系统控制其输出，正数为充电功率，负数为放电功率；PGrid(t)为微电网与主电网之间的功率交换，正数代表从主电网购电，负数代表向主电网反馈电能；
II)能量管理系统控制目标设为微电网运行花费最小以及与主网交换功率波动最小双重目标，在实时电价环境下，微电网获得最高效益的同时减小负荷与生产不平衡造成的峰谷差值，优化目标如下：
Figure FDA0002631372810000031
其中，C(t)为各时段微电网运行的总花费；γ(t)为每个调度时段主电网的实时电价；Δ为每次的调度时间范围；SoC(t)为储能系统的荷电状态，要求约束在一定范围内以保证电池的使用寿命；储能系统的充放电功率PESS(t)和可再生能源发电的总出力PRES(t)根据微电网具体配置而限定；T为总的时段数。
4.根据权利要求1所述的基于双Q值网络深度强化学习的微电网能量调度方法，其特征在于：步骤(2.1)中，在每个时段从数据采集与监视控制系统获得能够表征微电网动态的外在状态信息，分别为可再生能源总发电功率PRES(t)，用户负荷PLoad(t)，市场实时电价γ(t)，选择从当前调度时刻到k时刻前的微电网外在状态信息构成状态空间的外在部分，即：
sE(t)＝{PRES(t-k),PLoad(t-k),γ(t-k)...PRES(t),PLoad(t),γ(t)}∈SE (3)
储能系统的荷电状态SoC(t)根据智能体的动作而改变，构成状态空间的可控部分：
sC(t)＝{SoC(t)}∈SC (4)
此外，每次调度的时间信息h(t)也被加入状态空间中，构成状态空间的时间部分ST，于是状态空间S表示为：
S＝SE×SC×ST (5)
步骤(2.2)中，离散化动作空间A定义为{0,1,2}，其中动作0表示使储能系统处于闲置状态，动作1表示利用新能源产生的电量给储能系统充电，动作2表示储能系统放电供用户使用；
步骤(2.3)中，对于经济调度，最大化长期奖励即为最小化负的电网运行费用：
r(t)＝-C(t) (6)。
5.根据权利要求4所述的基于双Q值网络深度强化学习的微电网能量调度方法，其特征在于：步骤(2.4)中，若智能体的动作值使得储能系统的荷电状态超过限值，则实际的控制指令b(t)设为闲置，即：
Figure FDA0002631372810000041
其中，b(t)为储能系统实际收到的控制指令，智能体对此并不知悉，但仍然能够接收指令执行后微电网的状态信息以及奖励函数，以进行策略改进；
步骤(2.5)中，若b(t)为1，则储能系统在新能源发电满足本地负荷并有剩余电量的情况下，尽可能的储存超出的发电量，但其功率不会超过最大充电功率，若b(t)为2，则储能系统释放电能以弥补新能源发电不足所缺的电力供用户使用，但其功率不会超过最大放电功率。
6.根据权利要求1所述的基于双Q值网络深度强化学习的微电网能量调度方法，其特征在于：步骤(3)包括以下子步骤：
(3.1)定义Q值函数：使用Q值评估策略π，定义为状态s下采用动作a后未来累积折扣奖励的期望值：
Figure FDA0002631372810000042
其中，γ为折扣因子；
最优策略定义为在整个状态空间下采取使Q值最大的动作的策略，即：
Figure FDA0002631372810000043
其中，Q*(s,a)为最优Q值，π*为最优策略；
(3.2)构建双Q网络：使用神经网络逼近最优Q值；
(3.3)随机环境探索：对智能体进行训练时，使用了逐渐减小的环境探索策略；
(3.4)经验回放：使用经验回放机制训练数据的相关性和非平稳分布问题。
7.根据权利要求6所述的基于双Q值网络深度强化学习的微电网能量调度方法，其特征在于：步骤(3.2)为了使算法性能更加稳定，分别构建估计网络和目标网络，两个网络结构完全相同但是参数不同，估计网络使用最新的参数并不断通过学习更新网络参数，而目标网络的参数每隔一段时间由估计网络复制而来。
8.根据权利要求7所述的基于双Q值网络深度强化学习的微电网能量调度方法，其特征在于：步骤(3.3)，智能体按照一定概率随机选择动作以更好地探索环境，寻找一定状态下使奖励最大化的动作，随着训练次数的不断增加，探索概率不断减小直至完全采取使Q值最大的动作，并最终收敛到最优策略。
9.根据权利要求8所述的基于双Q值网络深度强化学习的微电网能量调度方法，其特征在于：步骤(3.4)设置一个固定容量的经验池以存储不同时刻的训练数据(st,at,rt+1,st+1)，在训练初期，智能体随机动作产生足够的训练数据，填满经验池后随机从经验池中随机选取一组数据进行学习并更新神经网络，并在策略执行中不断获取新的训练数据来更新经验池。
CN202010812190.2A 2020-08-13 2020-08-13 基于双q值网络深度强化学习的微电网能量调度方法 Pending CN112117760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010812190.2A CN112117760A (zh) 2020-08-13 2020-08-13 基于双q值网络深度强化学习的微电网能量调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010812190.2A CN112117760A (zh) 2020-08-13 2020-08-13 基于双q值网络深度强化学习的微电网能量调度方法

Publications (1)

Publication Number Publication Date
CN112117760A true CN112117760A (zh) 2020-12-22

Family

ID=73803846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010812190.2A Pending CN112117760A (zh) 2020-08-13 2020-08-13 基于双q值网络深度强化学习的微电网能量调度方法

Country Status (1)

Country Link
CN (1) CN112117760A (zh)

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862281A (zh) * 2021-01-26 2021-05-28 中国电力科学研究院有限公司 综合能源系统调度模型构建方法、装置、介质及电子设备
CN112862282A (zh) * 2021-01-27 2021-05-28 合肥工业大学 一种基于ddqn算法的综合能源系统源-荷协同调度优化方法
CN113098007A (zh) * 2021-04-25 2021-07-09 山东大学 基于分层强化学习的微电网分布式在线调度方法及系统
CN113139682A (zh) * 2021-04-15 2021-07-20 北京工业大学 一种基于深度强化学习的微电网能量管理方法
CN113379104A (zh) * 2021-05-21 2021-09-10 青海大学 微能源网实时调控方法和系统、电子设备及可读存储介质
CN113644671A (zh) * 2021-07-30 2021-11-12 湖南工业大学 基于深度强化学习的城轨混合储能系统功率动态分配控制方法
CN113675890A (zh) * 2021-09-06 2021-11-19 北京理工大学 基于td3的新能源微电网优化方法
CN113689024A (zh) * 2021-06-03 2021-11-23 上海交通大学 一种基于Boosting感知的深度学习多微网弹性组合决策方法
CN113852969A (zh) * 2021-09-14 2021-12-28 超讯通信股份有限公司 终端调度方法及装置
CN113902163A (zh) * 2021-09-03 2022-01-07 广东电网有限责任公司 一种基于深度学习的含分布式能源系统实时调度方法
CN113962446A (zh) * 2021-10-08 2022-01-21 国网安徽省电力有限公司电力科学研究院 一种微电网群协同调度方法、装置、电子设备和存储介质
CN114021987A (zh) * 2021-11-08 2022-02-08 深圳供电局有限公司 微网能量调度策略确定方法、装置、设备及存储介质
CN114091879A (zh) * 2021-11-15 2022-02-25 浙江华云电力工程设计咨询有限公司 基于深度强化学习的多园区能源调度方法和系统
CN114123166A (zh) * 2021-10-21 2022-03-01 国网浙江省电力有限公司台州供电公司 一种新能源耦合背景下的源网荷储协同调度方法
CN114240125A (zh) * 2021-12-13 2022-03-25 广东工业大学 一种分布式储能电站在线、自适应的电能调度优化方法
CN114400675A (zh) * 2022-01-21 2022-04-26 合肥工业大学 基于权重均值深度双q网络的主动配电网电压控制方法
CN114400704A (zh) * 2022-01-24 2022-04-26 燕山大学 基于双q学习考虑经济调节的孤岛微电网多模式切换策略
CN114417695A (zh) * 2021-11-30 2022-04-29 国网浙江省电力有限公司台州供电公司 多园区综合能源系统经济调度方法
CN114421501A (zh) * 2022-01-07 2022-04-29 国网湖北省电力有限公司黄冈供电公司 用于分布式储能供电的自适应控制系统参数确定方法
CN114498750A (zh) * 2022-02-14 2022-05-13 华北电力大学 一种基于Q-Learning算法的分布式多智能体微电网能量管理方法
CN114498771A (zh) * 2021-12-29 2022-05-13 南昌大学 一种微电网频率恢复和功率分配控制方法
WO2022136680A1 (fr) 2020-12-24 2022-06-30 Totalenergies Onetech Procédé de contrôle d'un micro-réseau électrique
CN114707871A (zh) * 2022-04-12 2022-07-05 东南大学 微电网能源管理方法、装置、设备及存储介质
CN114725936A (zh) * 2022-04-21 2022-07-08 电子科技大学 基于多智能体深度强化学习的配电网优化方法
CN114742453A (zh) * 2022-05-06 2022-07-12 江苏大学 基于Rainbow深度Q网络的微电网能量管理方法
CN114784823A (zh) * 2022-04-15 2022-07-22 华中科技大学 基于深度确定性策略梯度的微电网频率控制方法及系统
CN114792974A (zh) * 2022-04-26 2022-07-26 南京邮电大学 一种互联微电网能源优化管理的方法和系统
CN114844083A (zh) * 2022-05-27 2022-08-02 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN114841489A (zh) * 2021-02-02 2022-08-02 霍尼韦尔国际公司 电池储能系统的动态非线性优化
CN114897266A (zh) * 2022-06-13 2022-08-12 南京邮电大学 基于深度强化学习的微电网能源系统的多目标安全优化方法
CN114995147A (zh) * 2022-06-13 2022-09-02 西安交通大学 一种深海发电系统及其控制方法
CN115130777A (zh) * 2022-07-15 2022-09-30 安徽大学 一种基于实时电价激励的微电网能源系统优化方法
CN115207923A (zh) * 2022-09-15 2022-10-18 苏州垚鑫焱科技有限公司 供电系统的数据处理方法及设备
CN115241885A (zh) * 2022-07-26 2022-10-25 中国电力科学研究院有限公司 电网实时调度优化方法、系统、计算机设备及存储介质
CN115333143A (zh) * 2022-07-08 2022-11-11 国网黑龙江省电力有限公司大庆供电公司 基于双神经网络的深度学习多智能体微电网协同控制方法
CN115360741A (zh) * 2022-10-20 2022-11-18 中国华能集团清洁能源技术研究院有限公司 现货场景下基于深度强化学习的风储灵活控制方法和装置
CN115459359A (zh) * 2022-08-25 2022-12-09 南京邮电大学 一种基于多智能体深度强化学习的5g基站光储微电网系统调度方法
CN115632179A (zh) * 2022-12-20 2023-01-20 国网天津市电力公司电力科学研究院 一种锂离子电池智能快速充电方法及系统
CN115714433A (zh) * 2022-11-17 2023-02-24 贵州电网有限责任公司 基于强化学习的受限区域新能源并网出力分配优化方法
CN116345577A (zh) * 2023-05-12 2023-06-27 国网天津市电力公司营销服务中心 风-光-储微电网能量调控优化方法、设备及存储介质
CN116388279A (zh) * 2023-05-23 2023-07-04 安徽中超光电科技有限公司 太阳能光伏发电系统中的电网并网控制方法及其控制系统
CN116384039A (zh) * 2022-12-30 2023-07-04 福州大学 一种基于模型预测的智能电网能源优化高效管理方法
CN116488154A (zh) * 2023-04-17 2023-07-25 海南大学 基于微电网的能源调度方法、系统、计算机设备及介质
CN114285075B (zh) * 2021-12-22 2023-09-15 浙江工业大学 一种基于分布式深度强化学习的微电网能量在线优化方法
CN117060402A (zh) * 2023-10-09 2023-11-14 山东浪潮数字能源科技有限公司 一种基于分布式智能电网的能源互联网平台架构方法
CN118378866A (zh) * 2024-06-25 2024-07-23 国网山东省电力公司滨州供电公司 智能体的构建方法、系统及储能系统的优化方法及系统
CN118381095A (zh) * 2024-06-26 2024-07-23 山东网聪信息科技有限公司 新能源微电网储能充放电智能控制方法及装置
CN118735028A (zh) * 2024-05-24 2024-10-01 国网福建省电力有限公司 一种基于约束感知强化学习的综合储能系统优化方法
CN119154387A (zh) * 2024-11-21 2024-12-17 湖南西来客储能科技有限公司 基于神经网络的微电网与主电网能量交互控制方法及系统
CN119231580A (zh) * 2024-08-30 2024-12-31 国网天津市电力公司 基于近端策略优化与Lightgbm的新能源微网实时能量管理方法
CN119253756A (zh) * 2024-09-13 2025-01-03 上海交通大学 一种基于DeePC的能量调度方法及微电网离网运行系统
CN119448185A (zh) * 2024-08-27 2025-02-14 广东电网有限责任公司阳江供电局 一种基于强化学习的台区v2g充电桩充放电调控方法及设备
CN119496174A (zh) * 2025-01-17 2025-02-21 浙江爱客能源设备有限公司 基于智能学习的光伏储能控制方法、系统及存储介质
CN119995165A (zh) * 2025-04-10 2025-05-13 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于人工智能的源网荷储协同智能调控系统及方法
CN120450495A (zh) * 2025-07-14 2025-08-08 电子科技大学(深圳)高等研究院 面向事件规划感知的微电网能源管理优化方法及系统
CN121192715A (zh) * 2025-11-19 2025-12-23 山东大学 基于群组增强策略优化的微电网需求侧管理方法及系统
CN116384039B (zh) * 2022-12-30 2026-05-01 福州大学 一种基于模型预测的智能电网能源优化管理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487011A (zh) * 2016-11-28 2017-03-08 东南大学 一种基于q学习的户用微电网能量优化方法
CN107067190A (zh) * 2017-05-18 2017-08-18 厦门大学 基于深度强化学习的微电网电能交易方法
CN109347149A (zh) * 2018-09-20 2019-02-15 国网河南省电力公司电力科学研究院 基于深度q值网络强化学习的微电网储能调度方法及装置
CN111200285A (zh) * 2020-02-12 2020-05-26 燕山大学 一种基于强化学习和多智能体理论的微电网混合协调控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487011A (zh) * 2016-11-28 2017-03-08 东南大学 一种基于q学习的户用微电网能量优化方法
CN107067190A (zh) * 2017-05-18 2017-08-18 厦门大学 基于深度强化学习的微电网电能交易方法
CN109347149A (zh) * 2018-09-20 2019-02-15 国网河南省电力公司电力科学研究院 基于深度q值网络强化学习的微电网储能调度方法及装置
CN111200285A (zh) * 2020-02-12 2020-05-26 燕山大学 一种基于强化学习和多智能体理论的微电网混合协调控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亚东: "基于深度强化学习的微电网储能调度策略研究", 《可再生能源》 *

Cited By (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022136680A1 (fr) 2020-12-24 2022-06-30 Totalenergies Onetech Procédé de contrôle d'un micro-réseau électrique
FR3118544A1 (fr) * 2020-12-24 2022-07-01 Total Se Procédé de contrôle d’un micro-réseau électrique
CN112862281A (zh) * 2021-01-26 2021-05-28 中国电力科学研究院有限公司 综合能源系统调度模型构建方法、装置、介质及电子设备
CN112862282A (zh) * 2021-01-27 2021-05-28 合肥工业大学 一种基于ddqn算法的综合能源系统源-荷协同调度优化方法
CN112862282B (zh) * 2021-01-27 2022-12-06 合肥工业大学 一种基于ddqn算法的综合能源系统源-荷协同调度优化方法
CN114841489A (zh) * 2021-02-02 2022-08-02 霍尼韦尔国际公司 电池储能系统的动态非线性优化
CN113139682A (zh) * 2021-04-15 2021-07-20 北京工业大学 一种基于深度强化学习的微电网能量管理方法
CN113139682B (zh) * 2021-04-15 2023-10-10 北京工业大学 一种基于深度强化学习的微电网能量管理方法
CN113098007A (zh) * 2021-04-25 2021-07-09 山东大学 基于分层强化学习的微电网分布式在线调度方法及系统
CN113379104A (zh) * 2021-05-21 2021-09-10 青海大学 微能源网实时调控方法和系统、电子设备及可读存储介质
CN113689024A (zh) * 2021-06-03 2021-11-23 上海交通大学 一种基于Boosting感知的深度学习多微网弹性组合决策方法
CN113689024B (zh) * 2021-06-03 2025-03-28 上海交通大学 一种基于Boosting感知的深度学习多微网弹性组合决策方法
CN113644671A (zh) * 2021-07-30 2021-11-12 湖南工业大学 基于深度强化学习的城轨混合储能系统功率动态分配控制方法
CN113902163A (zh) * 2021-09-03 2022-01-07 广东电网有限责任公司 一种基于深度学习的含分布式能源系统实时调度方法
CN113675890A (zh) * 2021-09-06 2021-11-19 北京理工大学 基于td3的新能源微电网优化方法
CN113852969B (zh) * 2021-09-14 2023-05-26 超讯通信股份有限公司 终端调度方法及装置
CN113852969A (zh) * 2021-09-14 2021-12-28 超讯通信股份有限公司 终端调度方法及装置
CN113962446A (zh) * 2021-10-08 2022-01-21 国网安徽省电力有限公司电力科学研究院 一种微电网群协同调度方法、装置、电子设备和存储介质
CN113962446B (zh) * 2021-10-08 2024-06-07 国网安徽省电力有限公司电力科学研究院 一种微电网群协同调度方法、装置、电子设备和存储介质
CN114123166B (zh) * 2021-10-21 2023-10-20 国网浙江省电力有限公司台州供电公司 一种新能源耦合背景下的源网荷储协同调度方法
CN114123166A (zh) * 2021-10-21 2022-03-01 国网浙江省电力有限公司台州供电公司 一种新能源耦合背景下的源网荷储协同调度方法
CN114021987A (zh) * 2021-11-08 2022-02-08 深圳供电局有限公司 微网能量调度策略确定方法、装置、设备及存储介质
CN114091879A (zh) * 2021-11-15 2022-02-25 浙江华云电力工程设计咨询有限公司 基于深度强化学习的多园区能源调度方法和系统
CN114417695A (zh) * 2021-11-30 2022-04-29 国网浙江省电力有限公司台州供电公司 多园区综合能源系统经济调度方法
CN114240125B (zh) * 2021-12-13 2024-09-20 广东工业大学 一种分布式储能电站在线、自适应的电能调度优化方法
CN114240125A (zh) * 2021-12-13 2022-03-25 广东工业大学 一种分布式储能电站在线、自适应的电能调度优化方法
CN114285075B (zh) * 2021-12-22 2023-09-15 浙江工业大学 一种基于分布式深度强化学习的微电网能量在线优化方法
CN114498771A (zh) * 2021-12-29 2022-05-13 南昌大学 一种微电网频率恢复和功率分配控制方法
CN114421501A (zh) * 2022-01-07 2022-04-29 国网湖北省电力有限公司黄冈供电公司 用于分布式储能供电的自适应控制系统参数确定方法
CN114400675A (zh) * 2022-01-21 2022-04-26 合肥工业大学 基于权重均值深度双q网络的主动配电网电压控制方法
CN114400704B (zh) * 2022-01-24 2025-04-01 燕山大学 基于双q学习考虑经济调节的孤岛微电网多模式切换策略
CN114400704A (zh) * 2022-01-24 2022-04-26 燕山大学 基于双q学习考虑经济调节的孤岛微电网多模式切换策略
CN114498750B (zh) * 2022-02-14 2024-11-15 华北电力大学 一种基于Q-Learning算法的分布式多智能体微电网能量管理方法
CN114498750A (zh) * 2022-02-14 2022-05-13 华北电力大学 一种基于Q-Learning算法的分布式多智能体微电网能量管理方法
CN114707871A (zh) * 2022-04-12 2022-07-05 东南大学 微电网能源管理方法、装置、设备及存储介质
CN114784823A (zh) * 2022-04-15 2022-07-22 华中科技大学 基于深度确定性策略梯度的微电网频率控制方法及系统
CN114784823B (zh) * 2022-04-15 2024-12-10 华中科技大学 基于深度确定性策略梯度的微电网频率控制方法及系统
CN114725936B (zh) * 2022-04-21 2023-04-18 电子科技大学 基于多智能体深度强化学习的配电网优化方法
CN114725936A (zh) * 2022-04-21 2022-07-08 电子科技大学 基于多智能体深度强化学习的配电网优化方法
CN114792974A (zh) * 2022-04-26 2022-07-26 南京邮电大学 一种互联微电网能源优化管理的方法和系统
CN114792974B (zh) * 2022-04-26 2025-02-11 南京邮电大学 一种互联微电网能源优化管理的方法和系统
CN114742453B (zh) * 2022-05-06 2025-04-29 江苏大学 基于Rainbow深度Q网络的微电网能量管理方法
CN114742453A (zh) * 2022-05-06 2022-07-12 江苏大学 基于Rainbow深度Q网络的微电网能量管理方法
WO2023226356A1 (zh) * 2022-05-27 2023-11-30 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN114844083A (zh) * 2022-05-27 2022-08-02 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN114897266A (zh) * 2022-06-13 2022-08-12 南京邮电大学 基于深度强化学习的微电网能源系统的多目标安全优化方法
CN114897266B (zh) * 2022-06-13 2024-11-08 南京邮电大学 基于深度强化学习的微电网能源系统的多目标安全优化方法
CN114995147A (zh) * 2022-06-13 2022-09-02 西安交通大学 一种深海发电系统及其控制方法
CN115333143A (zh) * 2022-07-08 2022-11-11 国网黑龙江省电力有限公司大庆供电公司 基于双神经网络的深度学习多智能体微电网协同控制方法
CN115333143B (zh) * 2022-07-08 2024-05-07 国网黑龙江省电力有限公司大庆供电公司 基于双神经网络的深度学习多智能体微电网协同控制方法
CN115130777A (zh) * 2022-07-15 2022-09-30 安徽大学 一种基于实时电价激励的微电网能源系统优化方法
CN115241885A (zh) * 2022-07-26 2022-10-25 中国电力科学研究院有限公司 电网实时调度优化方法、系统、计算机设备及存储介质
CN115459359B (zh) * 2022-08-25 2024-11-08 南京邮电大学 一种基于多智能体深度强化学习的5g基站光储微电网系统调度方法
CN115459359A (zh) * 2022-08-25 2022-12-09 南京邮电大学 一种基于多智能体深度强化学习的5g基站光储微电网系统调度方法
CN115207923A (zh) * 2022-09-15 2022-10-18 苏州垚鑫焱科技有限公司 供电系统的数据处理方法及设备
CN115360741A (zh) * 2022-10-20 2022-11-18 中国华能集团清洁能源技术研究院有限公司 现货场景下基于深度强化学习的风储灵活控制方法和装置
CN115714433A (zh) * 2022-11-17 2023-02-24 贵州电网有限责任公司 基于强化学习的受限区域新能源并网出力分配优化方法
CN115632179A (zh) * 2022-12-20 2023-01-20 国网天津市电力公司电力科学研究院 一种锂离子电池智能快速充电方法及系统
CN116384039B (zh) * 2022-12-30 2026-05-01 福州大学 一种基于模型预测的智能电网能源优化管理方法
CN116384039A (zh) * 2022-12-30 2023-07-04 福州大学 一种基于模型预测的智能电网能源优化高效管理方法
CN116488154A (zh) * 2023-04-17 2023-07-25 海南大学 基于微电网的能源调度方法、系统、计算机设备及介质
CN116345577A (zh) * 2023-05-12 2023-06-27 国网天津市电力公司营销服务中心 风-光-储微电网能量调控优化方法、设备及存储介质
CN116345577B (zh) * 2023-05-12 2023-08-08 国网天津市电力公司营销服务中心 风-光-储微电网能量调控优化方法、设备及存储介质
CN116388279B (zh) * 2023-05-23 2024-01-23 安徽中超光电科技有限公司 太阳能光伏发电系统中的电网并网控制方法及其控制系统
CN116388279A (zh) * 2023-05-23 2023-07-04 安徽中超光电科技有限公司 太阳能光伏发电系统中的电网并网控制方法及其控制系统
CN117060402A (zh) * 2023-10-09 2023-11-14 山东浪潮数字能源科技有限公司 一种基于分布式智能电网的能源互联网平台架构方法
CN117060402B (zh) * 2023-10-09 2024-01-09 山东浪潮数字能源科技有限公司 一种基于分布式智能电网的能源互联网平台架构方法
CN118735028A (zh) * 2024-05-24 2024-10-01 国网福建省电力有限公司 一种基于约束感知强化学习的综合储能系统优化方法
CN118378866A (zh) * 2024-06-25 2024-07-23 国网山东省电力公司滨州供电公司 智能体的构建方法、系统及储能系统的优化方法及系统
CN118381095A (zh) * 2024-06-26 2024-07-23 山东网聪信息科技有限公司 新能源微电网储能充放电智能控制方法及装置
CN118381095B (zh) * 2024-06-26 2024-09-27 山东网聪信息科技有限公司 新能源微电网储能充放电智能控制方法及装置
CN119448185A (zh) * 2024-08-27 2025-02-14 广东电网有限责任公司阳江供电局 一种基于强化学习的台区v2g充电桩充放电调控方法及设备
CN119448185B (zh) * 2024-08-27 2025-11-14 广东电网有限责任公司阳江供电局 一种基于强化学习的台区v2g充电桩充放电调控方法及设备
CN119231580B (zh) * 2024-08-30 2026-02-06 国网天津市电力公司 基于近端策略优化与Lightgbm的新能源微网实时能量管理方法
CN119231580A (zh) * 2024-08-30 2024-12-31 国网天津市电力公司 基于近端策略优化与Lightgbm的新能源微网实时能量管理方法
CN119253756A (zh) * 2024-09-13 2025-01-03 上海交通大学 一种基于DeePC的能量调度方法及微电网离网运行系统
CN119154387A (zh) * 2024-11-21 2024-12-17 湖南西来客储能科技有限公司 基于神经网络的微电网与主电网能量交互控制方法及系统
CN119496174A (zh) * 2025-01-17 2025-02-21 浙江爱客能源设备有限公司 基于智能学习的光伏储能控制方法、系统及存储介质
CN119995165A (zh) * 2025-04-10 2025-05-13 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于人工智能的源网荷储协同智能调控系统及方法
CN120450495A (zh) * 2025-07-14 2025-08-08 电子科技大学(深圳)高等研究院 面向事件规划感知的微电网能源管理优化方法及系统
CN120450495B (zh) * 2025-07-14 2025-09-19 电子科技大学(深圳)高等研究院 面向事件规划感知的微电网能源管理优化方法及系统
CN121192715A (zh) * 2025-11-19 2025-12-23 山东大学 基于群组增强策略优化的微电网需求侧管理方法及系统
CN121192715B (zh) * 2025-11-19 2026-03-20 山东大学 基于群组增强策略优化的微电网需求侧管理方法及系统

Similar Documents

Publication Publication Date Title
CN112117760A (zh) 基于双q值网络深度强化学习的微电网能量调度方法
CN109347149B (zh) 基于深度q值网络强化学习的微电网储能调度方法及装置
CN115114854B (zh) 一种虚拟电厂分布式资源两级自组织优化聚合方法及系统
CN104993522B (zh) 一种基于mpc的主动配电网多时间尺度协调优化调度方法
CN114331059B (zh) 电氢互补的园区多楼宇供能系统及其协调调度方法
CN111934360B (zh) 基于模型预测控制的虚拟电厂-储能系统能量协同优化调控方法
CN110458443A (zh) 一种基于深度强化学习的智慧家庭能量管理方法及系统
CN107706932B (zh) 一种基于动态自适应模糊逻辑控制器的能量调度优化方法
CN114285075B (zh) 一种基于分布式深度强化学习的微电网能量在线优化方法
CN108964050A (zh) 基于需求侧响应的微电网双层优化调度方法
CN114742453B (zh) 基于Rainbow深度Q网络的微电网能量管理方法
CN109103912A (zh) 考虑电网调峰需求的工业园区主动配电系统调度优化方法
CN115940289B (zh) 面向电网电量平衡与新能源消纳的光储充一体站运行方法
CN106953316A (zh) 微电网变时间尺度优化调度方法
CN108092290A (zh) 一种联合储能容量配置与优化运行的微网能量配置方法
CN117060386A (zh) 一种基于值分布深度q网络的微电网储能调度优化方法
Bi et al. Real-time energy management of microgrid using reinforcement learning
CN109901389A (zh) 一种基于深度学习的新能源消纳方法
CN121052610A (zh) 微电网协同调度方法及装置
Tian Exploration of power market dynamic scheduling algorithm based on reinforcement learning
CN114792974A (zh) 一种互联微电网能源优化管理的方法和系统
CN120049467A (zh) 一种含抽水蓄能和电化学储能电力系统短期优化调度方法及相关装置
Yu et al. A fuzzy Q-learning algorithm for storage optimization in islanding microgrid
CN115619431A (zh) 微电网的调度方法、装置、终端及存储介质
CN111815156A (zh) 基于实时电价的多样化用户需求响应方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201222