[發明專利]一種基于深度增強學習的可中斷負荷優選方法

在審

• 申請號: 201911049739.0
• 申請日: 2019-10-31
• 公開（公告）號: CN111428903A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 李秋燕;王利利;張藝涵;田春箏;李科;郭新志;于昊正;付科源;馬杰;孫義豪;全少理;郭勇;楊卓;羅潘;明威宇;李妍;王少榮
• 申請（專利權）人: 國家電網有限公司;國網河南省電力公司經濟技術研究院;華中科技大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q10/06;G06Q50/06;H02J3/14;G06N3/04;G06N3/08
• 代理公司: 鄭州知己知識產權代理有限公司 41132
• 代理人: 季發軍

1.一種基于深度增強學習的可中斷負荷優選方法，其特征在于，包括：

(1)通過智能電表及量測裝置獲取t時刻系統的觀測狀態；

(2)根據當前狀態采取相應的需求響應控制策略，得到配電網即時回報模型；

(3)為了使長遠回報最大化，需要采取最優的動作，定義所選負荷需求響應的動作估值函數Q^π(s_t,a_t)，根據環境的運行狀態觀測值，通過迭代進行動作估值函數更新，得到最優動作估值函數的目標值

(4)由目標值與神經網絡預計輸出Q^π′(s_t,a_t,ω)得到神經網絡偏差函數，利用小批量梯度下降法更新神經網絡參數，完成增強學習；

(5)讀取量測裝置中數據獲取k時刻實時狀態s_k，送入已經訓練完成的神經網絡中，選出最佳可中斷負荷點。

2.根據權利要求1所述的基于深度增強學習的可中斷負荷優選方法，其特征在于，所述步驟(1)包括：

在所有節點安裝智能電表監測其功率，隨機選出四個節點作為一組可中斷負荷，在DER接入節點處安裝量測裝置獲取電壓數據，故系統可觀測的狀態s_t表示為其中，為t時刻各末端節點i的電壓，P_t^j為t時刻各可中斷負荷j的功率，N_U、N_C分別為電壓觀測節點集合和所選負荷接入節點集合。

3.根據權利要求1所述的一種基于深度增強學習的可中斷負荷優選方法，其特征在于，所述步驟(2)包括：

(2.1)根據當前狀態s_t采取相應的需求響應控制策略a_t，按照中斷或不中斷兩種狀態考慮，相應設定t時刻的動作函數a_t表示為為第j個所選負荷的狀態變量，只有0或1兩種取值，取值為0代表中斷供電，取值為1代表不中斷，保證可中斷負荷動作后末端節點電壓在允許范圍內的情況下，選出用戶滿意度最高的一組可中斷負荷點，故建立配電網即時運行回報模型r_t+1為其中所選節點j的中斷控制得分和滿意度得分與其對應權重w^IL和w^user加權求和得到，權重的數值可由虛擬電廠根據具體的運行目標來選擇；

(2.2)對于采用相鄰兩個采樣時間負荷的狀態改變量來定義中斷控制得分，若狀態改變，回報取負值，否則取值為0；

(2.3)對于滿意度評分選取負荷動作后功率變化為參考，按照負荷動作后功率P_t^j變化超過不同數值，取為不同負值。

4.根據權利要求1所述的一種基于深度增強學習的可中斷負荷優選方法，其特征在于，所述步驟(3)包括：

定義IL需求響應的動作估值函數如下：

Q^π(s_t,a_t)＝E[r_t+1+λr_t+2+λ²r_t+3+…|s_t,a_t]＝E[r_t+1+λQ^π(s_t+1,a_t+1)|s_t,a_t]

上式中，π代λ∈[0,1]表控制策略，E代表期望值，r_t+1代表執行完具體動作a_t后的即時回報，稱為折合因子，表明未來回報相對于當前回報的重要程度，最優動作估值函數的目標值由貝爾曼方程可推出為式中A_t+1代表在t+1時刻所有能執行動作的集合，根據環境的運行狀態觀測值，通過迭代進行動作估值函數更新，具體公式如下：

其中α為學習速率，滿足0≤α≤1。