[發明專利]一種電網調頻型飛輪儲能系統的矢量強化學習控制方法

有效

• 申請號: 202010900512.9
• 申請日: 2020-09-01
• 公開（公告）號: CN112103971B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 殷林飛;李鈺;馬晨驍;高放
• 申請（專利權）人: 廣西大學
• 主分類號: H02J3/24
• 分類號: H02J3/24;H02J3/30;H02P27/08;H02P25/024;H02P21/14
• 代理公司: 南寧啟創知識產權代理事務所(特殊普通合伙) 45122
• 代理人: 謝美萱

本發明提供一種電網調頻型飛輪儲能系統的矢量強化學習控制方法，該方法能解決目前電力系統因新能源發電和分布式發電的隨機性、波動性和不確定性對電網的沖擊而造成的傳統調頻資源無法滿足調頻要求的現狀。本發明將飛輪儲能系統調頻與矢量強化學習相結合，通過對電壓進行矢量強化學習選擇飛輪儲能系統的最優動作，控制系統電機工作于發電機/電動機狀態達到系統工作于放電/充電模式，從而達到調整電力系統頻率的目的。本發明提出的電網調頻型飛輪儲能系統的矢量強化學習控制方法，其響應速度遠優于傳統調頻資源，可實現快速調節電網頻率，保持電網頻率在允許偏差范圍之內，維持系統頻率穩定性，從而保證電網運行的可靠性和安全性。

技術領域

本發明屬于飛輪儲能系統控制領域，涉及一種用矢量強化學習方法控制飛輪儲能系統工作，適用于飛輪儲能系統的控制。

背景技術

現如今，隨著發電機組容量不斷增大、長距離輸電以及全國電網互聯的發展，電力系統的調頻任務非常繁重。同時，風能、太陽能等新能源發電以及分布式電源的接入，其隨機性、波動性和不確定性沖擊了電力系統頻率穩定，傳統調頻資源已經無法滿足調頻需求，對調頻資源及其可用容量、響應速度和響應準確性提出了更高的要求。現如今，如何進一步提高電力系統頻率穩定性已成為一個重要課題。

傳統調頻資源有火電機組和水電機組，這兩種傳統調頻資源因機組慣性大、地理位置偏遠等制約因素，經常出現延遲、偏差、響應速度慢等現象。飛輪儲能系統則一定程度上彌補了這些不足，成為輔助傳統調頻機組調頻的重要調頻資源。飛輪儲能系統具有響應速度快、爬坡速率快、功率響應準確、雙向調節等優點，從而開始在世界范圍內應用于控制電力系統頻率。

本發明采用了矢量強化學習方法控制飛輪儲能系統工作來調節電力系統頻率。飛輪儲能系統是一種實現機電能量轉換的儲能裝置，利用該系統充電與放電相互轉換的特性及其具有的削峰填谷作用，能夠有效補償電力系統供求兩端的功率不平衡度，達到電力系統頻率穩定的目的。為了使飛輪儲能系統合理運行在理想狀態，本發明采用了矢量強化學習控制方法，通過不斷與電力系統交互學習，并根據貪心策略選擇使飛輪儲能系統獲得動作獎賞值最大的行為，驅動飛輪儲能系統工作于充電或放電狀態，達到頻率調整的目的。

發明內容

本發明提出一種電網調頻型飛輪儲能系統的矢量強化學習控制方法。該方法與傳統調頻資源不同，它通過矢量強化學習方法學習獲得經坐標變換后電壓的學習值，經過空間矢量脈寬調制獲得逆變器的驅動信號，逆變器產生三相電壓驅動電機作為電動機/發電機運行，來控制飛輪儲能系統充電/放電工作，通過不斷對電壓進行迭代學習的方式來達到工程上的最優解，，從而維持電力系統頻率在規定范圍。

矢量強化學習中采用Q(λ)算法，對d軸電壓進行學習的公式為：

對q軸電壓進行學習的公式為：

其中e(s)定義為狀態s的選舉度，可以通過以下方法計算：

式中，a為狀態s_t到狀態s_t+1所采取的動作；r_t+1為狀態s_t到狀態s_t+1獲得的瞬時獎賞值；γ為折扣因子；α為學習率。

通過Q學習算法對dq軸電壓進行強化學習，分別得到滿足約束條件的最優矢量電壓和

充電過程中的約束條件為：

放電過程中的約束條件為：