[發明專利]一種電網調頻型飛輪儲能系統的矢量強化學習控制方法

有效

• 申請號: 202010900512.9
• 申請日: 2020-09-01
• 公開（公告）號: CN112103971B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 殷林飛;李鈺;馬晨驍;高放
• 申請（專利權）人: 廣西大學
• 主分類號: H02J3/24
• 分類號: H02J3/24;H02J3/30;H02P27/08;H02P25/024;H02P21/14
• 代理公司: 南寧啟創知識產權代理事務所(特殊普通合伙) 45122
• 代理人: 謝美萱

1.一種電網調頻型飛輪儲能系統的矢量強化學習控制方法，其特征在于，該方法包括步驟為：

(1)設定參考值，設電力系統波動后頻率為實際初值，比較實際初值與參考值大小，決定飛輪儲能系統工作于充電/放電工作模式，并將abc三相坐標系表示的電壓通過派克變換轉換為dq兩相坐標系表示的電壓；

(2)若飛輪儲能系統工作于充電模式，通過能量守恒定律得到飛輪儲能系統能夠達到的最大轉速值即參考轉速ω_mref，在滿足等式約束和不等式約束的前提下，對dq軸電壓u_d和u_q進行強化學習，經貪心策略分別得到一次學習后的最優矢量電壓和通過空間矢量脈寬調制技術驅動三相逆變器產生三相電壓，驅動永磁同步電機作為電動機帶動飛輪轉子轉速ω升高，降低電力系統頻率，一次迭代循環完成；

(3)若飛輪儲能系統工作于放電模式，通過能量守恒定律得到轉速降低后的參考轉速ω_mref，在滿足等式約束和不等式約束的前提下，對dq軸電壓u_d和u_q進行強化學習分別得到一次學習后的最優矢量電壓和通過空間矢量脈寬調制技術產生逆變器的驅動信號，該信號驅動永磁同步電機作為發電機發出功率，經整流和逆變后將電能送入電力系統，使電力系統頻率上升，一次迭代循環完成；

(4)將調整后頻率與參考頻率范圍相比較，若符合要求則飛輪儲能系統工作于保持狀態；若不符合要求則系統重復步驟(2)或(3)。

2.根據權利要求1所述的電網調頻型飛輪儲能系統的矢量強化學習控制方法，其特征在于，所述的矢量強化學習方法具體為：

利用坐標變換理論，將abc三相靜止坐標系表示的電壓通過派克變換轉換為dq兩相旋轉坐標系表示的電壓，便于解耦加快調節時間，提高系統動態性能和調節精度；

對坐標變換后的電壓采用矢量Q(λ)學習方法，對d軸電壓進行學習的公式為：

對q軸電壓進行學習的公式為：

其中e(s)定義為狀態s的選舉度，可以通過以下方法計算

式中，a為狀態s_t到狀態s_t+1所采取的動作；r_t+1為狀態s_t到狀態s_t+1獲得的瞬時獎賞值；γ為折扣因子；α為學習率；

通過上述Q學習算法對dq軸電壓進行學習，分別得到滿足約束條件的最優矢量電壓和

3.根據權利要求1所述的電網調頻型飛輪儲能系統的矢量強化學習控制方法，其特征在于，所述的等式約束在充電狀態下為：

W_S＝W_L+W_G

所述等式約束在放電狀態下為：

W_S+W_G＝W_L

不等式約束條件為：

其中，W_S為電網側提供電能，W_L為負載消耗電能，W_G為飛輪儲能系統吸收或發出功率，U_G和I_G分別為永磁同步電機電壓和電流。

4.根據權利要求1所述的電網調頻型飛輪儲能系統的矢量強化學習控制方法，其特征在于，所述的飛輪儲能系統包括：飛輪轉子，飛輪電機，軸承，電力電子設備，真空室；

其中，飛輪電機有電動機和發電機兩種工作狀態，其特征在于：

當電力系統頻率的實際初值大于參考值，飛輪儲能系統工作于充電模式，飛輪電機作為電動機工作，電動機拖動飛輪轉子加速旋轉，將電能轉換為飛輪轉子機械能；

當電力系統頻率的實際初值小于參考值，飛輪儲能系統工作于放電模式，飛輪電機作為發電機工作，高速旋轉的飛輪轉子驅動發電機發電，電能經過電力電子裝置由不穩定的交流電變為穩定的交流電。