[發明專利]一種基于多目標深度強化學習的主動配電網重構方法

有效

• 申請號: 202210559706.6
• 申請日: 2022-05-23
• 公開（公告）號: CN114665478B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 陳波;舒展;程思萌;陶翔;汪碩承;劉柳;周煦光;彭春華
• 申請（專利權）人: 國網江西省電力有限公司電力科學研究院;國家電網有限公司
• 主分類號: H02J3/00
• 分類號: H02J3/00;H02J3/26;G06F30/27;G06F111/06;G06F111/04;G06F113/04
• 代理公司: 南昌賢達專利代理事務所(普通合伙) 36136
• 代理人: 金一嫻

1.一種基于多目標深度強化學習的主動配電網重構方法，其特征在于，步驟如下：

步驟一、以整個重構周期內三相不平衡度最小化和開關動作總次數最少化為目標函數構建多目標優化模型；

步驟二、基于各時段各開關的狀態矩陣、各時段各節點各相有功功率矩陣和無功功率矩陣構造配電網重構智能體的狀態空間與動作空間，其中配電網重構智能體的狀態空間定義為：

O’_t＝[s_t，P_t，Q_t]，

式中，s_t為在t時段的各開關的狀態矩陣，P_t為在t時段各節點各相有功功率矩陣和，Q_t為在t時段各節點各相無功功率矩陣；

配電網重構智能體的動作空間定義為：

Y_t＝[s_t]；

步驟三、將三相電流總體不平衡度指標和開關總次數指標映射到歸一化二維目標空間，并基于逼近理想解排序法設計多目標獎勵函數；

步驟四、采用基于最大熵的軟行動器-評判器深度強化算法實現可均衡協調三相平衡效果和開關動作總次數的主動配電網多目標優化動態重構在線決策，其中，最大熵的軟行動器-評判器深度強化算法包括價值網絡、動作-價值網絡以及策略網絡，其中所述價值網絡的目標函數為：

式中，為t時刻下Q網絡的目標函數，Q網絡為價值網絡，θ為Q網絡的參數，E[]為括號內的期望，為t時刻下Q網絡的動作價值函數，γ折扣因子，為t+1時刻的價值函數，O_t為系統t時刻的狀態值，O_t+1為系統t+1時刻的狀態值，R_t為t時刻交互的收益值。

2.根據權利要求1所述的一種基于多目標深度強化學習的主動配電網重構方法，其特征在于，在步驟一中，以重構周期內三相不平衡度最小化的目標函數的表達式為：

式中，為配電變壓器在t時刻的a相電流不平衡度，為配電變壓器在t時刻的b相電流不平衡度，為配電變壓器在t時刻的c相電流不平衡度，D為三相電流總體不平衡度，T為時間周期；

以重構周期內開關動作總次數最少化的目標函數的表達式為：

式中，S_k，t為開關k在t時段的狀態，S_k，t-1為開關k在t-1時段的狀態，K為配網中的可用開關總數。

3.根據權利要求1所述的一種基于多目標深度強化學習的主動配電網重構方法，其特征在于，在步驟一中，所述多目標優化模型的約束包括節點電壓約束、支路傳輸功率約束以及網絡不滿足輻射狀網絡拓撲約束，所述多目標優化模型的表達式為：

式中，D_p為約束校核后的三相電流總體不平衡度，N_p為約束校核后的開關動作總次數，Pu₁為節點電壓約束和支路傳輸功率不滿足約束條件的越限懲罰項，Pu₂為網絡不滿足輻射狀網絡拓撲約束條件的懲罰項，D為三相電流總體不平衡度，N為開關動作總次數；

其中，構造節點電壓約束和支路傳輸功率不滿足約束條件的越限懲罰項為：

式中，和分別為網絡中節點n的電壓上下限，為網絡中支路l的傳輸功率上限，U_n，t為t時刻網絡中節點n的電壓值，S_l，t為t時刻網絡中支路l的傳輸功率，M為網絡節點總數，L為支路總數，μ₁和μ₂均為懲罰因子，T為時間周期；

構造網絡不滿足輻射狀網絡拓撲約束條件的懲罰項為：

式中，μ₃為懲罰因子，rank()為求矩陣的秩，Lp(G)為矩陣。

4.根據權利要求3所述的一種基于多目標深度強化學習的主動配電網重構方法，其特征在于，其中所述節點電壓約束以及所述支路傳輸功率約束的表達式為：

式中，和分別為網絡中節點n的電壓上下限，為網絡中支路l的傳輸功率上限，U_n，t為t時刻網絡中節點n的電壓值，S_l，t為t時刻網絡中支路l的傳輸功率。