[發明專利]一種風電場聯合控制方法

在審

• 申請號: 202210567441.4
• 申請日: 2022-05-24
• 公開（公告）號: CN115059576A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 王曉寧;王傳鑫;曹利蒲;李丹陽;崔源;李海宏;王亮亮
• 申請（專利權）人: 北京華能新銳控制技術有限公司
• 主分類號: F03D7/00
• 分類號: F03D7/00;F03D7/02;G06N3/04;G06N3/08
• 代理公司: 蘇州國誠專利代理有限公司 32293
• 代理人: 韓鳳

1.一種風電場聯合控制方法，其特征在于：采用深度Q-Network聯合控制風電場中所有風機的變槳和偏航，其所涉及的風場控制器包括有三個模塊，具體為環境、自動編碼器和兩個強化學習代理；

其中環境包括風電場中的風機和指揮中心，環境中的控制變量為葉片變槳和偏航角，來自風電場的感官輸入包括自由流風速和方向；每個風機產生的合成風速、轉子角速度和功率；之前的全局狀態S_t+1和全局獎勵r_t+1從指揮中心獲取，全局狀態向量將通過自動編碼器傳遞；

自動編碼器自動將全局狀態S_t編碼為數量減少的特征，自動編碼器有一個輸入層、若干隱藏層、一個中心層和一個輸出層組成；對于自動編碼器，神經網絡的輸入層和輸出層特性是相同的，中心層包含一些最小節點，用于表示壓縮狀態；中心層中的節點數表示有效壓縮和信息丟失之間的權衡；

兩個強化學習代理使用信息按順序決定每個風機的動作，每個風機的動作通過變槳角和偏航角決定，聯合動作向量A通過指揮中心驅動風電場中的每個風機，作為回報，指揮中心向強化學習代理提供下一個狀態和當前獎勵，目的是找到最優的策略A*，這樣可以最大限度地提高功率，同時最大限度地減少轉子葉片損壞。

2.如權利要求1所述的一種風電場聯合控制方法，其特征在于，其具體實施步驟如下：

步驟1、首先構建動作空間：

A_t＝{θ¹,L,θ^N,γ¹,L,γ^N}_t (1)

式中，θⁱ和γⁱ分別是第t個風機的變槳和偏航角，變槳和偏航角每步被離散為以1°；

步驟2、第i個風機在t時刻的狀態空間可表達為：

式中，

式中，和是第i個風機的角速度和合成風速；f₁,L,f_o表示簡化全局狀態的最佳特征；

步驟3、由于目標是使風場總發電量(P)最大化，并使轉子葉片的總損壞最小化，因此t+1處的瞬時獎勵函數定義為：

式中0α1，獎勵定義激勵聯合行動，以平衡給定α下產生的功率和對葉片的損壞；

步驟4：深度強化學習訓練

首先，初始化以下常量，包括：風機的數量N；分集數nEpisodes；每一集內的批數量nEpochs；ε_min表示ε-貪婪探索；折扣因子ξ；以及目標網絡更新的頻率K；

對于每個風機i，應為其每個代理保留單獨的緩沖區，代理數n＝2；一個用于變槳，另一個用于偏航；接下來，使用隨機權重Wⁿ為兩個代理初始化策略網絡Qⁿ，并創建策略網絡的副本作為目標網絡；

在外循環中，環境跟隨線性衰減ε重置為某個隨機狀態，在內循環中，獲得下一個狀態和瞬時獎勵，使用自動編碼器降低全局狀態的維數；每個風機的狀態是局部和全局信息的組合；

之后對風電場中的每個風機依次訓練變槳和偏航代理。

3.如權利要求2所述的一種風電場聯合控制方法，其特征在于：對于每個風機和代理，最新的轉換元組以先進先出的方式存儲在緩沖區中，從中隨機抽取一個小批次，使用標準Q-learning計算目標向量，對策略網絡進行訓練，然后使用ε-貪婪算法選擇一個操作，在內部循環的最后一步中，下一個狀態被分配給當前狀態，最后，對于這兩個代理，策略網絡的權重每K集復制到目標網絡。