[發(fā)明專利]一種基于深度增強學習的可中斷負荷優(yōu)選方法

在審

• 申請?zhí)枺?/td>: 201911049739.0
• 申請日: 2019-10-31
• 公開（公告）號: CN111428903A
• 公開（公告）日: 2020-07-17
• 發(fā)明（設計）人: 李秋燕;王利利;張藝涵;田春箏;李科;郭新志;于昊正;付科源;馬杰;孫義豪;全少理;郭勇;楊卓;羅潘;明威宇;李妍;王少榮
• 申請（專利權）人: 國家電網(wǎng)有限公司;國網(wǎng)河南省電力公司經(jīng)濟技術研究院;華中科技大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q10/06;G06Q50/06;H02J3/14;G06N3/04;G06N3/08
• 代理公司: 鄭州知己知識產(chǎn)權代理有限公司 41132
• 代理人: 季發(fā)軍

本發(fā)明涉及一種基于深度增強學習的可中斷負荷優(yōu)選方法，屬于配電網(wǎng)需求響應領域，包括：通過智能電表及量測裝置獲取t時刻系統(tǒng)的觀測狀態(tài)，并將其作為觀察樣本；利用所得觀察樣本，開展基于競爭深度Q網(wǎng)絡（dueling deep Q network，DDQN）的神經(jīng)網(wǎng)絡的訓練，定期清除觀測樣本以保證神經(jīng)網(wǎng)絡學習最新的觀測狀態(tài)，經(jīng)過一定次數(shù)的計算迭代得到訓練完成的神經(jīng)網(wǎng)絡；讀取量測裝置中數(shù)據(jù)獲取配電網(wǎng)實時狀態(tài)，送入訓練完成的神經(jīng)網(wǎng)絡中，以可中斷負荷動作后節(jié)點電壓在允許范圍內(nèi)為約束條件，以用戶滿意度為指標，進行可中斷負荷點的篩選，本發(fā)明可以自動識別用戶用電習慣，篩選出用戶滿意度相對較高的一組滿足運行條件的可中斷負荷點，具有良好的應用前景。

技術領域

本發(fā)明涉及配電網(wǎng)需求側(cè)管理領域，更具體的，涉及一種基于深度增強學習的可中斷負荷優(yōu)選方法。

背景技術

分布式能源(Distributed energy resource，DER)出力因天氣因素的影響具有隨機波動性，其在配電網(wǎng)的廣泛接入導致配電網(wǎng)電能質(zhì)量下降，需求側(cè)響應是一種靈活、快捷的用戶側(cè)響應手段，由配電網(wǎng)用戶直接對自身負荷需求和用電方式進行調(diào)整，完全是用戶的一種自愿參與行為，旨在快速提高需求彈性、平滑負荷曲線，是提高供電電能質(zhì)量和優(yōu)化電網(wǎng)運行的有效措施。

公布號為CN 108767883 A的中國發(fā)明專利申請公開了一種需求側(cè)的響應處理方法，包括：獲取用戶用電歷史數(shù)據(jù)，所述歷史數(shù)據(jù)包括固定功耗設備的用電歷史數(shù)據(jù)和可控功耗設備的用電歷史數(shù)據(jù)；對所述歷史數(shù)據(jù)進行統(tǒng)計，識別出負荷異常點；對去除負荷異常點的歷史數(shù)據(jù)進行統(tǒng)計，得到計費周期內(nèi)的平均用電數(shù)據(jù)；以可控功耗設備的功率和時間的關系為自變量、以儲能設備的充放電功率和時間的關系為自變量、以可控功耗設備的預設工作周期的總能耗為約束條件、以儲能設備的容量為約束條件，以預設工作周期內(nèi)的最大功率與所述平均用電數(shù)據(jù)之間的差值最小為優(yōu)化目標對可控功耗設備的功率和時間的關系和儲能設備的充放電功率和時間的關系進行優(yōu)化；根據(jù)優(yōu)化結果對可控功耗設備和儲能設備進行處理，能夠同時對可控功耗設備的功率和時間的關系和儲能設備的充放電功率和時間的關系進行優(yōu)化，進一步增加了現(xiàn)有設備在平穩(wěn)用電的作用，降低了成本的同時還減輕了電網(wǎng)的波動，但只能對歷史數(shù)據(jù)進行統(tǒng)計分析，不能自動識別用戶的用電習慣，無法得到最優(yōu)控制策略，不能引導電力用戶合理用電。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是針對現(xiàn)有技術的不足，提供一種基于深度增強學習的可中斷負荷優(yōu)選方法，能夠自動識別用戶的用電習慣，進一步計及可中斷負荷的電壓調(diào)節(jié)能力，同時兼顧用戶用電滿意度。

為實現(xiàn)上述目的，本發(fā)明提供一種基于深度增強學習的可中斷負荷優(yōu)選方法，包括：

(1)通過智能電表及量測裝置獲取t時刻系統(tǒng)的觀測狀態(tài)s_t，將IL的需求響應策略定義為控制動作a_t；

(2)根據(jù)當前狀態(tài)s_t采取相應的需求響應控制策略a_t，得到配電網(wǎng)即時回報模型r_t+1；

(3)為了使長遠回報r_t+1最大化，需要采取最優(yōu)的動作，即定義IL需求響應的動作估值函數(shù)Q^π(s_t,a_t)，根據(jù)環(huán)境的運行狀態(tài)觀測值，通過迭代進行動作估值函數(shù)更新，得到最優(yōu)動作估值函數(shù)的目標值

(4)由目標值與神經(jīng)網(wǎng)絡預計輸出Q^π′(s_t,a_t,ω)得到神經(jīng)網(wǎng)絡偏差函數(shù)Loss(ω)，通過小批量梯度下降法更新神經(jīng)網(wǎng)絡參數(shù)，完成增強學習；

(5)讀取量測裝置中數(shù)據(jù)獲取當前狀態(tài)送入已經(jīng)訓練完成的神經(jīng)網(wǎng)絡中，選取最大估值動作以獲得最優(yōu)動作策略。

進一步地，步驟(1)具體包括：