[發明專利]基于強化學習算法的雙饋感應風力發電機自校正控制方法

在審

• 申請號: 201710073833.4
• 申請日: 2017-02-10
• 公開（公告）號: CN106877766A
• 公開（公告）日: 2017-06-20
• 發明（設計）人: 余濤;程樂峰;李靖;王克英
• 申請（專利權）人: 華南理工大學
• 主分類號: H02P21/14
• 分類號: H02P21/14
• 代理公司: 廣州市華學知識產權代理有限公司44245
• 代理人: 許菲菲

技術領域

本發明涉及一種雙饋感應風力發電機自校正控制，特別是涉及一種基于強化學習(Reinforcement Learning，RL)算法的雙饋感應風力發電機自校正控制方法。

背景技術

變速恒頻雙饋發電是目前風力發電普遍采用的一種發電方式，其發電機采用雙饋感應電機(double-fed induction generator，DFIG)。當機組工作在額定風速以下時，通過調節發電機轉子轉速，保持最佳葉尖速比，實現對風能的最大捕獲。其控制系統常采用基于定子磁場定向的矢量控制，實現發電機有功、無功功率的解耦控制。

由于風能具有強烈的隨機性、時變性，且系統含有未建模或無法準確建模的動態部分，使雙饋發電系統成為一個多變量、非線性、強耦合系統，因此僅采用傳統矢量控制難以滿足控制系統對高適應性和高魯棒性的要求。目前有采用各種不同的控制方案，但控制效果都不是非常理想，如采用神經網絡控制方案，該控制方案改善了控制性能，但穩態誤差較大。而采用模糊滑模控制策略，將模糊控制和滑模控制相結合，雖取得了良好的控制效果，但實現較復雜。

發明內容

本發明目的在于克服現有技術的問題，提供一種能夠快速自動地優化風機控制系統的輸出，不僅實現了對風能的最大追蹤，而且具有良好的動態性能，顯著增強了控制系統的魯棒性和適應性的基于強化學習算法的雙饋感應風力發電機自校正控制方法。

本發明目的通過如下技術方案實現：

基于強化學習算法的雙饋感應風力發電機自校正控制方法：在基于PI控制的矢量控制系統中的PI控制器上增加RL控制器，動態校正PI控制器的輸出，RL控制器包括RL-P控制器和RL-Q控制器，RL-P控制器和RL-Q控制器分別對有功和無功功率控制信號校正；該自校正控制方法包括如下步驟：

S1：RL-P控制器和RL-Q控制器分別采樣有功功率誤差值ΔP和無功功率誤差值ΔQ；RL-P控制器和RL-Q控制器分別判斷功率誤差值ΔP和ΔQ所屬區間s_k；

S2：對于所識別的區間s_k，RL-P控制器或RL-Q控制器根據該s_k所對應的動作概率分布用隨機函數輸出動作α_k，得RL-P控制器或RL-Q控制器輸出的校正信號；動作α相應的被選擇的概率的集合構成概率分布，每個區間s有其對應的概率分布P_s(a)；

對于RL-P控制器，動作值α_k與PI控制器的輸出信號用加法器相加得到定子q軸電流的給定值i_qs^*，即有功功率的控制信號；

對于RL-Q控制器，動作值α_k與PI控制器的輸出信號用加法器相加得到定子d軸電流的給定值i_ds^*，即無功功率的控制信號；

S3：RL-P控制器和RL-Q控制器分別采樣有功功率誤差值ΔP和無功功率誤差值ΔQ并判斷其所屬區間s_k+1；

S4：RL控制器由獎勵函數獲得立即獎勵值r_k；獎勵函數設計為：

式中值是動作集A的指針，即第k次動作值α在動作集A中的序號，μ₁和μ₂為平衡前后各平方項的權重值，其數值均為通過大量仿真實驗調試所得；

S5：基于Q值迭代公式更新Q矩陣；Q函數為一種期望折扣獎勵值，Q學習的目的是估計最優控制策略的Q值，設Q^k為最優值函數Q^*的第k次迭代值，Q值迭代公式設計為：

式中α、γ為折扣因子，其數值均為通過大量仿真實驗調試所得；

S6：根據動作選擇策略更新公式更新動作概率分布；利用一種追蹤算法設計動作選擇策略，策略基于概率分布，初始化時，賦予各狀態下每個可行動作相等的被選概率，隨著迭代的進行，概率隨Q值表格的變化而變化；RL控制器找出狀態s_k下具有最高Q值的動作a_g，a_g稱為貪婪動作；動作概率分布的迭代公式為：

和分別為第k次迭代時s_k狀態和非s_k狀態下選擇動作a的概率；β為動作搜索速度，其數值通過大量仿真實驗調試所得；