[發明專利]基于深度強化學習的配電網負荷轉供方法

在審

• 申請號: 202010974175.8
• 申請日: 2020-09-16
• 公開（公告）號: CN112149347A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 張沛;宋秉睿;李家騰;呂曉茜;孟祥飛
• 申請（專利權）人: 北京交通大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06Q10/06;G06Q50/06;G06F111/04;G06F113/04
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

1.一種基于深度強化學習的配電網負荷轉供方法，其特征在于，包括：

步驟1、初始化主神經網絡Q(S，A，ω，α，β)和與主神經網絡Q的網絡結構完全一樣的目標網絡T(S，A，ω^*，α^*，β^*)，初始化經驗經驗池R、折扣因子γ、學習率L_r、目標網絡更新頻率N_replace、抽樣數量N_batch，設置結束狀態的標志位Done＝0，所述主神經網絡Q、目標網絡T和經驗池構成配電網的智能體；

步驟2、配電網發生故障，開始負荷轉供；

步驟3、讀取配電網的實時狀態信息，將配電網的實時狀態信息輸入到主所述智能體，所述智能體根據配電網的實時狀態信息計算出每個動作的評價值；

步驟4、所述智能體基于每個動作的評價值根據動作策略選取相應的動作；

步驟5、智能體對配電網執行所述動作，得到動作后配電網的狀態S′，對配電網的動作及動作后的狀態進行評價,根據約束條件與目標函數計算獎勵Reward，根據獎勵Reward和結束規則確定Done的值，完成一次配電網開關動作后，將本次配電網開關動作作為經驗樣本e＝(s，a，r，s′)存儲在經驗池R中；

步驟6、從經驗池R中隨機采樣所述抽樣數量N_batch個經驗樣本，根據采樣的經驗樣本利用所述折扣因子γ計算目標值，基于所述目標值和學習率L_r通過最小化損失函數對主神經網絡Q(S，A，ω，α，β)中的參數ω，α，β進行更新；

步驟7、當主神經網絡經過N_replace次更新后，使用主神經網絡Q的參數ω，α，β對目標網絡T的參數ω^*，α^*，β^*進行更新：

步驟8、依據結束標志位Done判斷是否結束序列動作，Done＝0，返回步驟4；Done＝1，退出循環，本次配電網的負荷轉供過程處理結束。

2.根據權利要求1所述的方法，其特征在于，所述的步驟1還包括：

定義配電網負荷轉供操作中的系統狀態空間、動作空間以及獎勵函數，智能體與配電網環境交互由數組[S，A，P(s，s′)，R(s，a)，Done]表示，其中S表示配電網可能的狀態所構成的狀態空間，A表示可能的動作集合，P(s，s′)表示從配電網狀態s轉移到s′的轉移概率，R(s，a)是在狀態s時采取了a動作，觸發了相關的獎勵，其被反饋給智能體，Done為結束狀態的標志位，智能體主動選擇終止本次決策或由于違反約束條件而被環境終止繼續操作時，Done被設置為1，正常決策步驟時，Done保持為0；

狀態空間被定義為一個數組S＝[V，I，SW，F]，V是電壓向量組，其用來表示配電網中各個節點處所有相位的電壓值，V_in為第i個節點的第n個相位的電壓值；I為電流向量組，其用來表示配電網中所有線路中各個相位的電流值，I_in為第i條線路的第n個相位的電流值；SW為配電網中所有開關的狀態值向量，SW_i為第i個開關的狀態，為0表示打開，為1表示閉合；F為表示配電網線路故障狀態的向量，F_i為編號為i的線路的故障狀態，0表示正常，1表示發生故障。

3.根據權利要求1所述的方法，其特征在于，所述的步驟1還包括：

所述智能體采用Dueling-DQN算法，所述Dueling-DQN算法利用深度神經網絡進行計算，所述用深度神經網絡包括主神經網絡Q和目標網絡T，所述主神經網絡Q和目標網絡T包括：公共隱藏層、價值函數V和優勢函數B；

價值函數V與優勢函數B的公共隱藏層采用了2層神經網絡，用來提取輸入狀態量的特征，第一層有30*N_feature個神經元，其中N_feature為輸入狀態量的個數，所有神經元直接接受狀態數據的全連接輸入，并添加了偏置bias，激活函數為Relu函數；第二層與第一層進行全連接，也有30*N_feature個神經元；

所述智能體采用Dueling-DQN算法對所述主神經網絡Q和目標網絡T的輸出結果進行計算，計算出每個動作的的評價值。