[發明專利]基于強化學習的風力渦輪機控制

在審

• 申請號: 202080064914.8
• 申請日: 2020-08-13
• 公開（公告）號: CN114341489A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: B·戈爾尼克
• 申請（專利權）人: 西門子歌美颯可再生能源公司
• 主分類號: F03D7/04
• 分類號: F03D7/04;F03D17/00;G05B13/02
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李雪娜;陳嵐

1.一種控制風力渦輪機（80）的方法，包括：

接收（202）指示風力渦輪機（80）的當前環境狀態的數據；

基于風力渦輪機（80）的當前環境狀態和強化學習算法（700）來確定（204）風力渦輪機（80）的一個或多個控制動作；以及

將所確定的一個或多個控制動作應用（206）于風力渦輪機（80）。

2.根據權利要求1所述的方法，其中風力渦輪機（80）的當前環境狀態指定以下中的一個或多個：風速、湍流強度、場地海拔、溫度、垂直風切變或水平風切變。

3.根據權利要求1或2中任一項所述的方法，其中所述一個或多個控制動作包括保持空轉或啟動中的至少一個。

4.根據前述權利要求中任一項所述的方法，其中所述一個或多個控制動作是基于預定義控制動作集合來確定的，其中假定在當前環境狀態下確定了該相應的控制動作，預定義控制動作集合中的每個控制動作與參考回報值相關聯。

5.根據權利要求4所述的方法，其中所述一個或多個控制動作是基于將相應的參考回報值考慮在內的預定義控制動作集合來確定的。

6.根據權利要求4所述的方法，其中所述一個或多個控制動作是使用任意選擇基于預定義控制動作集合來確定的。

7.根據權利要求4至6中任一項所述的方法，進一步包括：

在應用所確定的一個或多個控制動作時：接收與當前回報值相關聯的測量數據；

施行參考回報值和當前回報值之間的比較；以及

基于所述比較來訓練強化學習算法（700）。

8.根據權利要求1至3中任一項所述的方法，進一步包括：

基于強化學習算法（700）的預定義價值函數來預測未來時間點的回報值，其中基于將預測回報值考慮在內的預定義控制動作集合來確定所述一個或多個控制動作。

9.根據權利要求8所述的方法，其中所述價值函數包括線性函數或神經網絡。

10.根據權利要求8或9中任一項所述的方法，進一步包括：

在應用所確定的一個或多個控制動作時：接收與當前聚合回報值相關聯的測量數據；

施行預測回報值和當前聚合回報值之間的比較；以及

基于所述比較來訓練強化學習算法（700）。

11.根據權利要求4至10中任一項所述的方法，其中所述回報值包括風力渦輪機（80）的凈電力輸出。

12.根據前述權利要求中任一項所述的方法，進一步包括：

通過使用從其它風力渦輪機（80）或專家知識獲得的環境狀態、控制動作和凈電力輸出的元組來預訓練（201）強化學習算法（700）。

13.一種用于控制風力渦輪機（80）的設備，所述設備包括一個或多個處理器，所述一個或多個處理器被配置為：

接收指示風力渦輪機（80）的當前環境狀態的數據；

基于風力渦輪機（80）的當前環境狀態和強化學習算法（700）來確定風力渦輪機（80）的一個或多個控制動作；以及

將所確定的一個或多個控制動作應用于風力渦輪機（80）。

14.根據權利要求13所述的設備，其中所述一個或多個處理器被配置為施行權利要求1至12中任一項所述的方法。