[發明專利]一種基于強化學習的電網運行控制方法

有效

• 申請號: 202310879623.X
• 申請日: 2023-07-18
• 公開（公告）號: CN116599061B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 李穎毅;朱雷鶴;洪建光;翁格平;馬麗軍;李琪;任嬌蓉;鄭瑞云;蔡振華;楊建立;翁秉宇;婁一艇;江涵;韓寅峰;葉木生;刁永鍇;黃俊惠;孫晨航;徐杰;胡鐵軍;徐重酉;劉鵬;邵棟棟;周俊;方云輝;金迪
• 申請（專利權）人: 國網浙江省電力有限公司寧波供電公司;浙江思極科技服務有限公司
• 主分類號: H02J3/00
• 分類號: H02J3/00;H02J1/00;G06F30/27;G06N20/00;G06F113/04
• 代理公司: 北京隆源天恒知識產權代理有限公司 11473
• 代理人: 李雪鵑

本發明提供一種基于強化學習的電網運行控制方法，涉及電網控制領域，所述方法包括：獲取電網在當前時刻的初始數據；對初始數據進行預處理，得到電網在當前時刻的運行數據；通過強化學習算法，得到電網的控制動作；將電網在當前時刻的運行數據和控制動作輸入電網環境動力學模型，得到所述控制動作對應的電網的狀態轉移和控制動作對應的獎勵；根據電網的狀態轉移和控制動作對應的獎勵，通過強化學習算法，更新電網的控制動作；當控制動作對應的獎勵連續預設次數均超過預設獎勵閾值時，停止更新電網的控制動作，并根據最后一次更新的控制動作控制電網的控制單元運行。本發明可提高電網運行的準確性。

技術領域

本發明涉及電網控制領域，具體而言，涉及一種基于強化學習的電網運行控制方法。

背景技術

在對電網進行運行控制過程中，通常會根據當前電網狀態，即供電負荷、電壓、頻率、發電容量、輸電線路狀態以及變電站狀態等信息，通過強化學習對上述的當前信息進行分析，得到合適的控制動作后，按照該控制動作控制電網運行。

在現有技術中，電網運行若出現大量狀態變動，導致當前電網狀態出現較大波動，此時，電網運行環境則會因電網狀態的突變而變得復雜，基于強化學習的電網運行控制方法在面對復雜的電網環境下，有可能無法做出準確控制動作。

發明內容

本發明解決的技術問題是如何提高基于強化學習的電網運行控制的準確性。

為解決上述問題，本發明提供一種基于強化學習的電網運行控制方法，包括：獲取電網在當前時刻的初始數據；

對所述初始數據進行預處理，得到所述電網在所述當前時刻的運行數據，其中，所述運行數據包括所述電網的供電負荷、電壓、頻率、發電容量、輸電線路狀態以及變電站狀態；

根據所述供電負荷、所述電壓、所述頻率、所述發電容量、所述輸電線路狀態以及所述變電站狀態，通過強化學習算法，得到所述電網的控制動作；

將所述電網在所述當前時刻的所述運行數據和所述控制動作輸入電網環境動力學模型，得到所述控制動作對應的所述電網的狀態轉移和所述控制動作對應的獎勵，其中，所述電網的狀態轉移為所述電網收到所述控制動作后的動態變化，所述控制動作對應的所述獎勵代表所述控制動作的好壞，每輸入一個所述控制動作對應一個所述獎勵；

根據所述電網的所述狀態轉移和所述控制動作對應的所述獎勵，通過所述強化學習算法，更新所述電網的所述控制動作；當所述控制動作對應的所述獎勵連續預設次數均超過所述預設獎勵閾值時，停止更新所述電網的所述控制動作，并根據最后一次更新的所述控制動作控制所述電網的控制單元運行。

可選地，所述根據所述供電負荷、所述電壓、所述頻率、所述發電容量、所述輸電線路狀態以及所述變電站狀態，通過強化學習算法，得到所述電網的控制動作，包括：

將所述供電負荷、所述電壓、所述頻率、所述發電容量、所述輸電線路狀態以及所述變電站狀態作為所述強化學習算法的狀態，輸入所述強化學習算法；

根據所述強化學習算法的輸出，得到所述強化學習算法的動作；

根據所述強化學習算法的動作，得到所述電網的所述控制動作，其中，所述電網的所述控制動作包括調整發電容量和調整輸電線路的功率分配。

可選地，所述將所述電網在所述當前時刻的所述運行數據和所述控制動作輸入電網環境動力學模型，得到所述控制動作對應的所述電網的狀態轉移和所述控制動作對應的獎勵，包括：

根據所述電網在所述當前時刻的所述運行數據和所述電網的控制動作，通過所述電網環境動力學模型的狀態轉移函數，得到所述控制動作對應的所述電網的所述狀態轉移；

通過所述電網環境動力學模型的獎勵函數，得到所述控制動作對應的所述獎勵。

可選地，所述狀態轉移函數為：；

其中，s為所述電網在當前的所述運行數據，a為所述電網的控制動作，S'為所述控制動作對應的所述電網的所述狀態轉移，T代表狀態轉移函數；

所述獎勵函數為：；