[發明專利]一種自適應不確定性的電力系統動態經濟調度方法

在審

• 申請號: 202210560992.8
• 申請日: 2022-05-23
• 公開（公告）號: CN114897388A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 汪旸;王春明;廖思陽;朱可凡;魏聰穎;徐箭;劉亦朋
• 申請（專利權）人: 國家電網公司華中分部;武漢大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/06;H02J3/00;H02J3/46
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 許蓮英

1.一種自適應不確定性的電力系統動態經濟調度方法，其特征在于，包括以下步驟：

步驟1，導入電力系統中每個調度時段的狀態變量，所述電力系統每個調度時段的狀態變量包括每個調度時段的發電機組狀態變量、每個調度時段的新能源狀態變量、每個調度時段的負荷狀態變量；得到的數據包含了所有調度時間段的狀態，調度日數為D，以每個調度日作為一個調度周期，每個調度周期包含了T個調度時段；以下表述某個調度時段t的狀態空間表述方法：

首先需要觀測發電機組的出力值、向上備用容量、向下備用容量，N臺發電機組的狀態空間可用下式歸納：

s_G,t＝(P_1,t,P_2,t…P_N,t,U_1,t,U_2,t…U_N,t,D_1,t,D_2,t…D_N,t)

式中，下標中t表示第t個調度時刻，s_G,t表示發電機組狀態空間，下標數字1，2，…N代表發電機編號，P代表功率，U代表發電機向上備用容量，D代表發電機向下備用容量；

其次對于具有隨機性的光伏出力、風電出力、負荷，不僅考慮了其實時值的大小，還考慮了其時序相關性而引入其一次導數和二次導數：

s_M,t＝(P_PV,t,P_WT,t,P_L,t,P_PV,d1,t,P_WT,d1,t,P_L,d1,t,P_PV,d2,t,P_WT,d2,t,P_L,d2,t)

式中，下標中t表示第t個調度時刻，s_M,t表示第t個調度時段的隨機狀態空間，P_PV,t為第t個調度時段光伏出力，P_WT,t為第t個調度時段風機出力，P_L,t為第t個調度時段負荷需求；下標中d1表示一次導數，d2表示二次導數，第t個調度時段的一次導數和二次導數求解方法如下：

P_PV,d1,t＝P_PV,t-P_PV,t-1

P_PV,d2,t＝P_PV,t-2P_PV,t-1+P_PV,t-2

P_WT,d1,t＝P_WT,t-P_WT,t-1

P_WT,d2,t＝P_WT,t-2P_WT,t-1+P_WT,t-2

P_L,d1,t＝P_L,t-P_L,t-1

P_L,d2,t＝P_L,t-2P_L,t-1+P_L,t-2

式中P_PV,t為第t個調度時段光伏出力，P_WT,t為第t個調度時段風機出力，P_L,t為第t個調度時段負荷需求；P_PV,t-1為第t-1個調度時段光伏出力，P_WT,t-1為第t-1個調度時段風機出力，P_L,t-1為第t-1個調度時段負荷需求；P_PV,d1,t為第t個調度時段光伏出力的一次導數，P_WT,d1,t為第t個調度時段風機出力的一次導數，P_L,d1,t為第t個調度時段負荷需求的一次導數，P_PV,d2,t為第t個調度時段光伏出力的二次導數，P_WT,d2,t為第t個調度時段風機出力的二次導數，P_L,d2,t為第t個調度時段負荷需求的二次導數

則獲取的維數為(3N+9)的狀態空間最終可以表示為：

s_t＝{s_G,t,s_M,t}

式中，s_t為第t個調度時刻狀態空間，s_G,t為第t個調度時刻發電機組狀態空間，s_M,t表示第t個調度時段的隨機狀態空間；

步驟2，初始化策略網絡和Q值網絡，包括了：原策略網絡參數θ^Q,目標策略網絡參數θ^Q',原Q值網絡參數θ^μ,目標Q值網絡參數θ^μ'，設定學習迭代次數K，確定調度周期長度T,初始化經驗池，設定動作-學習比例Z；初始迭代次數k＝0，調度時段t＝0；確定折扣因子γ∈[0,1]；

步驟3，初始化電力系統狀態.隨機選擇一個調度日的第一個調度時段t＝0初始化狀態空間s₀；迭代次數k＝k+1；

步驟4，根據策略網絡輸出決策動作值，并以探索性動作機制執行實際動作值，調度時段t＝t+1；實際動作值可用下式表示：

其中，是策略網絡采取的實際動作,由常規發電機組功率調整值以及向上備用調整值向下備用調整值組成，a_t是輸出的決策動作，n為隨機噪聲，p為隨著迭代次數逐漸衰減的噪聲占比；

步驟5，根據策略網絡采取的實際動作計算即時獎勵r_t；即時獎勵r_t可由下式給出：

r_t＝-0.05(F_G,t+F_R,t+F_S,t)

式中F_G,t為發電機組在第t個調度時段的常規發電機成本，F_R,t為發電機組在第t個調度時段的備用成本，F_S,t為發電機組在第t個調度時段的隨機性成本；具體為：

其中，下標中t表示第t個調度時段，對于第t個調度時段：h_i為第i個機組對應的常數項成本系數，b_i為第i個機組對應的一次項成本系數，c_i為第i個機組對應的二次項成本系數，模型內考慮有N個常規機組；

備用成本為系統預旋轉備用產生的成本：

式中，下標中t表示第t個調度時段，對于第t個調度時段：F_R,t為備用成本，U_i,t為第i個發電機的向上備用容量，D_i,t為第i個發電機的向上備用容量,k_U為向上備用成本系數,k_D為向下備用成本系數；

隨機性成本充分考慮了電力系統的不確定性，是由光伏以及風電出力的預測誤差造成的，預測誤差造成的功率差額可由旋轉備用彌補，但超出備用裕量時會導致切負荷或是棄風、棄光現象：

F_S,t＝(c_UP_U,t+c_DP_D,t)+(c_LP_L,t+c_AP_A,t)t

式中,下標中t表示第t個調度時段，對于第t個調度時段：F_S,t為隨機性成本，P_U,t是向上備用功率,P_D,t是向下備用功率,P_L,t是被切除負荷,P_A,t是棄風棄光總功率分，c_U是向上備用成本系數，c_D是向下備用成本系數，c_L是被切除負荷成本系數，c_U是棄風棄光成本系數；

步驟6，根據第t個調度時段策略網絡采取的實際動作值和狀態空間s_t＝{s_G,t,s_M,t}，確定下一個調度時段狀態空間s_t+1；下一個調度時段狀態空間s_t+1的發電機狀態可由下式表示：

s_t+1＝{s_G,t+1,s_M,t+1}

其中，s_M,t+1為第t+1調度時段的隨機狀態空間，s_G,t+1為第t+1調度時段發電機狀態；第t+1調度時段發電機狀態s_G,t+1由第t個調度時段狀態s_t和第t個調度時段采取的實際動作值決定：

步驟7，由步驟3-5得到狀態轉移過程；狀態轉移過程可由下式表述：

{s_t,a_t,r_t,s_t+1}

式中，s_t為第t個調度時段的狀態空間，a_t為第t個調度時段策略網絡的輸出動作值，r_t為第t個調度時段的即時獎勵，s_t+1是第t+1個調度時段的狀態空間；

記錄到經驗池中，完成一次經驗回收；利用動作-學習比例機制，每回收Z次進行一次學習，Z為設定好的動作-學習比例，作為優選，當Z＝4時，每產生4次動作，即產生了4次經驗，而學習一次；學習是指更新神經網絡參數，具體為如下步驟：

步驟7.1，更新原Q值網絡：

其中，θ^Q為原Q值網絡的網絡參數，α_Q為原Q值網絡的學習率，為梯度計算函數，L(θ^Q)為損失函數；損失函數L(θ^Q)具體為：

L(θ^Q)＝E(y_t-Q(s_t,a_t|θ^Q)²)

式中E(·)為數學期望函數,s_t為第t個調度時段狀態空間，a_t|θ^Q為在原Q值網絡參數為θ^Q條件下第t個調度時段原Q值網絡的輸出動作值,y_t為目標Q值，Q(s_t,a_t)為動作-值函數；目標Q值y_t可由下式計算：

y_t＝r_t+γQ(s_t+1,μ′(s_t+1|θ^μ′)|θ^Q′)；

式中r_t為第t個調度時段的即時獎勵，γ為折扣因子，θ^μ′為目標策略網絡參數，θ^Q′為目標Q值網絡參數；μ′(s_t)表示在第t個調度時段條件下，目標網絡輸出的動作值，定義為：

前述式中，動作-值函數Q(s_t,a_t)可由下式定義：

式中，t表示第t個調度時段，s_t為第t個調度時段狀態空間，a_t為第t個調度時段策略網絡的輸出動作值，E(·)為數學期望函數，T為調度周期長度，γ為折扣因子，r_t+m(s_t+m,a_t+m)為第t+m個調度時段的即時獎勵；

步驟7.2，更新原策略網絡：

式中，θ^μ為原策略網絡的網絡參數，α_μ為原策略網絡的學習率，為梯度計算函數，μ為原策略網絡輸出的動作；計算方法為：

其中，下標t表示第t個調度時段，為梯度計算函數，s為狀態空間，θ^Q為原Q值網絡參數，θ^μ為原策略網絡參數，a|θ^Q為在原Q值網絡參數為θ^Q條件下的原Q值網絡參數輸出動作值；μ(s)表示原網絡輸出的動作值，定義為：前述式中，動作-值函數Q(s_t,a_t)可由下式定義：

步驟7.3，更新目標網絡：

其中，θ^μ′為目標策略網絡參數，θ^Q′為目標Q值網絡參數，θ^Q為原Q值網絡參數，θ^μ為原策略網絡參數，τ為軟更新模式下的網絡更新速度，一般遠遠小于1；軟更新模式導致目標網絡更新很慢，好處是學習的穩定性增強，更易于收斂；

步驟8，若調度時段t小于調度周期T，則返回第4步；

步驟9，若動作次數k小于設定學習迭代次數K，則返回步驟3；否則，訓練結束，輸出訓練后的模型。