[發明專利]一種基于多目標深度強化學習的主動配電網重構方法

有效

• 申請號: 202210559706.6
• 申請日: 2022-05-23
• 公開（公告）號: CN114665478B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 陳波;舒展;程思萌;陶翔;汪碩承;劉柳;周煦光;彭春華
• 申請（專利權）人: 國網江西省電力有限公司電力科學研究院;國家電網有限公司
• 主分類號: H02J3/00
• 分類號: H02J3/00;H02J3/26;G06F30/27;G06F111/06;G06F111/04;G06F113/04
• 代理公司: 南昌賢達專利代理事務所(普通合伙) 36136
• 代理人: 金一嫻

本發明公開一種基于多目標深度強化學習的主動配電網重構方法，方法包括：步驟一、以整個重構周期內三相不平衡度最小化和開關動作總次數最少化為構建多目標優化模型；步驟二、基于各時段各開關的狀態矩陣、各時段各節點各相有功功率矩陣和無功功率矩陣構造配電網重構智能體的狀態空間與動作空間；步驟三、將三相電流總體不平衡度指標和開關總次數指標映射到歸一化二維目標空間，并基于逼近理想解排序法的設計多目標獎勵函數；步驟四、采用基于最大熵的軟行動器?評判器深度強化算法實現可均衡協調三相平衡效果和開關動作總次數的主動配電網多目標優化動態重構在線決策。填補了DRL方法應用在主動配電網多目標優化重構的空缺。

技術領域

本發明屬于配電技術領域，尤其涉及一種基于多目標深度強化學習的主動配電網重構方法。

背景技術

配網重構作為配電網絡優化運行的重要內容，可起到平衡負荷、消除過載和降低網損的作用。以往大多數配電網重構方面的文獻是以最小化網絡有功損耗為優化目標進行研究的，由于配網網損總量一般并不大，加之重構過程還會增加開關操作費用和人工費用等，因此通過配網重構降低網損可帶來的經濟效益往往非常有限。事實上，配電網運行中三相不平衡是長期以來亟待解決的突出問題。近年來隨著單相或兩相分布電源并入主動配電網的數量逐漸增多，這會加劇配電線路中三相不平衡。含分布式電源的配網三相不平衡常會引發三相電壓不對稱、中性線電流超限、配電變壓器出力下降、線路損耗增加等諸多問題，而且在一定程度上會影響電網的安全穩定運行。因此，針對含分布式發電的主動配電網，通過配網重構以平衡三相負荷作用顯得更為突出。配網重構一般可分為靜態重構和動態重構，其中靜態重構只是基于單個時段的配網負荷數據進行優化重構，而動態重構則是需要考慮多個連續時段內配網負荷數據的變化進行全局性優化重構。配網動態重構由于不僅考慮了網絡的負荷波動特性，而且還需考慮供電可靠性、開關操作次數等實際運行中的約束條件，可實現有計劃地進行網絡重構，因此更具實用價值和研究意義。

在實際應用中開關的最大動作次數不應主觀設為定值，而應考慮開關操作的性價比和實際情況，綜合降損效果、操作費用、使用壽命和線路供電可靠性要求等因素來靈活確定。因此，如何考慮其三相平衡效果和開關動作總次數的協調關系，實現多目標優化重構成為了目前亟需解決的問題。

發明內容

本發明提供一種基于多目標深度強化學習的主動配電網重構方法，用于解決如何考慮三相平衡效果和開關動作總次數的協調關系，實現多目標優化重構的技術問題。

本發明提供一種基于多目標深度強化學習的主動配電網重構方法，步驟如下：

步驟一、以整個重構周期內三相不平衡度最小化和開關動作總次數最少化為目標函數構建多目標優化模型；

步驟二、基于各時段各開關的狀態矩陣、各時段各節點各相有功功率矩陣和無功功率矩陣構造配電網重構智能體的狀態空間與動作空間，其中配電網重構智能體的狀態空間定義為：

，

式中，為在t時段的各開關的狀態矩陣，為在t時段各節點各相有功功率矩陣和，為在t時段各節點各相無功功率矩陣；

配電網重構智能體的動作空間定義為：

；

步驟三、將三相電流總體不平衡度指標和開關總次數指標映射到歸一化二維目標空間，并基于逼近理想解排序法設計多目標獎勵函數；

步驟四、采用基于最大熵的軟行動器-評判器深度強化算法實現可均衡協調三相平衡效果和開關動作總次數的主動配電網多目標優化動態重構在線決策。

進一步地，在步驟一中，以重構周期內三相不平衡度最小化的的目標函數的表達式為：

，

式中，為配電變壓器在t時刻的a相電流不平衡度，為配電變壓器在t時刻的b相電流不平衡度，為配電變壓器在t時刻的c相電流不平衡度，為三相電流總體不平衡度，為時間周期；