[發明專利]基于強化學習的風力渦輪機偏航偏移控制

在審

• 申請號: 202080064813.0
• 申請日: 2020-08-03
• 公開（公告）號: CN114341488A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: B·戈爾尼克
• 申請（專利權）人: 西門子歌美颯可再生能源公司
• 主分類號: F03D7/04
• 分類號: F03D7/04;F03D17/00;G05B13/02
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉書航;劉春元

1.一種控制第一風力渦輪機（201a，201e，201i，201m）的偏航偏移（800）的方法，所述方法包括：

接收（402）指示第一風力渦輪機（201a，201e，201i，201m）的當前狀態和沿風向（205）在下游與第一風力渦輪機（201a，201e，201i，201m）相鄰的第二風力渦輪機（201b，201f，201j，201n）的當前狀態的數據；

基于第一風力渦輪機（201a，201e，201i，201m）的當前狀態、第二風力渦輪機（201b，201f，201j，201n）的當前狀態和強化學習算法（700），確定（404）與第一風力渦輪機（201a，201e，201i，201m）的偏航偏移（800）相關聯的一個或多個控制動作；以及

將所確定的一個或多個控制動作應用（406）到第一風力渦輪機（201a，201e，201i，201m）。

2.根據權利要求1所述的方法，其中，第一風力渦輪機（201a，201e，201i，201m）的當前狀態和第二風力渦輪機（201b，201f，201j，201n）的當前狀態指定以下中的一項或多項：相應風力渦輪機現場的風向（205），相應風力渦輪機現場的風速，或相應風力渦輪機的偏航偏移（800）。

3.根據權利要求1或2所述的方法，其中，所述一個或多個控制動作包括將偏航偏移（800）設置在-45°至+45°的范圍內。

4.根據前述權利要求中任一項所述的方法，其中，所述一個或多個控制動作是基于預定義控制動作集來確定的，其中，所述預定義控制動作集中的每個控制動作與假定在第一風力渦輪機（201a、201e、201i、201m）的當前狀態和第二風力渦輪機（201b、201f、201j、201n）的當前狀態下確定相應的控制動作的參考獎勵值相關聯。

5.根據權利要求4所述的方法，其中，所述一個或多個控制動作是考慮到相應的參考獎勵值基于預定義控制動作集來確定的。

6.根據權利要求4所述的方法，其中，所述一個或多個控制動作是使用任意選擇基于預定義控制動作集來確定的。

7.根據權利要求4至6中任一項所述的方法，進一步包括：

在應用所確定的一個或多個控制動作時：接收與當前獎勵值相關聯的測量數據；

執行參考獎勵值和當前獎勵值之間的比較；以及

基于所述比較來訓練強化學習算法（700）。

8.根據權利要求1至3所述的方法，進一步包括：

基于強化學習算法（700）的預定義價值函數，在所確定的一個或多個控制動作的所述應用的多次迭代之后，預測未來時間點的獎勵值，

其中所述一個或多個控制動作是考慮到預測的獎勵值基于預定義控制動作集來確定的。

9.根據權利要求8所述的方法，其中價值函數包括線性函數或神經網絡。

10.根據權利要求8或9中任一項所述的方法，進一步包括：在完成所確定的一個或多個控制動作的所述應用的多次迭代時：跨多次迭代接收與當前聚合獎勵值相關聯的測量數據；

執行預測獎勵值和當前聚合獎勵值之間的比較；以及

基于所述比較來訓練強化學習算法（700）。

11.根據權利要求4至10中任一項所述的方法，其中，所述獎勵值包括第一風力渦輪機（201a，201e，201i，201m）和第二風力渦輪機（201b，201f，201j，201n）這兩者的功率輸出總和。

12.根據前述權利要求中任一項所述的方法，進一步包括：

通過使用以下數據元組來預訓練（401）所述強化學習算法（700）：風向（205）、風速、偏航偏移（800）和功率輸出總和，其中所述數據元組是從沿著風向（205）彼此相鄰的兩個參考風力渦輪機獲得的，或者是從專家知識獲得的。