[發明專利]基于雙神經網絡的深度學習多智能體微電網協同控制方法

在審

• 申請號: 202210797934.7
• 申請日: 2022-07-08
• 公開（公告）號: CN115333143A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 馬興明;郎宇寧;楊東海;王佳興;毛新宇;周義民;張冬;孟慶宇;徐鳳霞;仝書林
• 申請（專利權）人: 國網黑龍江省電力有限公司大慶供電公司;齊齊哈爾大學;國家電網有限公司
• 主分類號: H02J3/38
• 分類號: H02J3/38;H02J3/48;H02J3/50;H02J3/24;H02J3/16;H02J3/06;G06N3/04;G06N3/08;G06N7/00
• 代理公司: 大慶知文知識產權代理有限公司 23115
• 代理人: 胡海山

本發明提供了一種基于雙神經網絡的深度學習多智能體協同控制方法，包括如下步驟：建立微電網的電壓與頻率控制模型；設計基于多智能體的深度強化學習框架：構建多智能體的強化學習的環境動作空間與狀態空間以及獎勵函數的馬爾可夫決策過程；設計雙神經網絡的深度強化學習算法的流程，采用神經網絡對定義的強化學習環境進行多次訓練以達到獎勵值的收斂，訓練最優Q值；基于強化學習訓練出的Q值，實現分布式電源的頻率偏差調節，解決強化學習算法的高估問題以優化多智能體系統的穩定性。微電網系統進行對各分布式電源的相關操作，完成最優能量管理優化策略選擇，實現微電網的協同控制。

技術領域

本發明涉及微電網頻率控制技術領域，具體說是一種基于雙神經網絡的深度學習多智能體微電網協同控制方法。

背景技術

隨著我國的經濟快速發展，能源的消耗也逐年遞增。而隨著化石能源等非可再生能源的過度開采以及傳統發電過程對環境的影響日益嚴重，我國為響應世界號召，大力發展風能、光能、生物能等可再生能源，不僅為環保作出重要貢獻也為新型能源提供發展新方式。

目前，在微電網系統中，為了克服傳統控制方法的缺陷，引入分布式控制，該策略是基于多智能體系統框架實現的，基于分布式發電的多智能體微電網依靠其獨特的靈活性，周期短能源利用率高等優點得以廣泛應用。如何通過微電網的形式并網運行或者單獨運行以帶來極高的經濟收益，減小發電成本減少能量遠距離傳輸的損耗是目前急需要解決的問題。

發明內容

(一)要解決的技術問題

本發明提供了一種基于雙神經網絡的深度學習多智能體微電網協同控制方法，以克服現有技術存在的發電成本高，能量損耗大等缺陷。

(二)技術方案

為解決上述問題，本發明提供一種基于雙神經網絡的深度學習多智能體微電網協同控制方法，包括如下步驟：

步驟S1、建立微電網的電壓與頻率控制模型；

步驟S2、通過采用深度強化學習框架下的微電網模型進行訓練，尋找最優的Q值網絡，包括具體步驟：

步驟S21、構建強化學習的環境狀態空間：強化學習的環境為微電網系統，環境與智能體進行反饋獎勵，以及微電網多智能體系統控制器的頻率偏差狀態構成狀態空間的可控部分、每次調度的時間信息Δt構成狀態空間的時間部分；

步驟S22、構建強化學習的環境動作空間：每次調度智能體頻率偏差進行控制；

步驟S23、定義獎勵函數：用來引導智能體實現預定微電網優化目標，；

步驟S24、設置儲能系統后備控制器，使得可調度智能體與儲能系統的智能體產生的動作不超出系統的功率范圍；

步驟S3、建立雙神經網絡深度強化學習算法流程：采用神經網絡對步驟S2中定義的強化學習環境進行多次訓練以達到獎勵值的收斂；

采用神經網絡Q(s,a；ω)作為函數逼近器來對Q(s,a)函數進行估計；根據狀態和動作的輸入經過神經網絡分析后得到動作的Q值，并選擇最大Q值作為下一步的動作；

深度神經網絡的權重ω表示系統狀態到Q值的映射，定義損失函數Li(ω)來更新神經網絡權重ω與對應的Q值：

L_i(ω_t)＝E_s[(y_t-Q(s,a；ω_t))²] 式(4)

其中y_t表示為目標函數：

通過對損失函數求梯度并執行隨機梯度下降，來更新智能體的權重：