[發明專利]基于ME-TD3算法的風電場動態參數智能校核方法

有效

• 申請號: 202110265065.9
• 申請日: 2021-03-10
• 公開（公告）號: CN113032934B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 安軍;周慶鋒;劉征帆;金宏;蔣振國;季軼;王玉鵬;楊宇童
• 申請（專利權）人: 東北電力大學;國網吉林省電力有限公司吉林供電公司
• 主分類號: G06F30/18
• 分類號: G06F30/18;G06F30/27;G06N3/08;G06F111/02;G06F113/06
• 代理公司: 吉林市達利專利事務所 22102
• 代理人: 陳傳林

本發明是一種基于ME?TD3算法的風電場動態參數智能校核方法，其特點是，在雙饋風電場等值模型的基礎上，對深度強化學習的新進展深度確定性策略梯度算法進行改進，提出了多經驗池概率回放的雙延遲深度確定性策略梯度算法。針對深度確定性策略梯度算法存在的高維度狀態動作空間收斂速度較慢和網絡高方差、過擬合的問題，該算法采取雙經驗池的方法提高了抽樣時有效經驗被選取的概率，提高了網絡訓練的效率，同時采取多種技巧來提高ME?TD3算法中評價網絡估值的準確度，從而提高了風電場動態參數校核的準確性，具有科學合理、適用性強、效果佳的優點。

技術領域

本發明屬于電力系統仿真驗證的應用領域，是一種基于ME-TD3算法的風電場動態參數智能校核方法。

背景技術

電力系統動態仿真是電力系統穩定分析與控制的主要工具，也是電網調度部門指導電力系統運行的主要依據，仿真結果是涉及到電力系統規劃、運行、控制設計等諸多方面的決策依據。如果它不能準確描述電力系統的動態行為，電力系統穩定運行將失去保證。因此，電力系統仿真的可信度直接影響到電網的安全運行。在實際系統中，已多次出現動態仿真無法反映系統實際行為的問題，仿真的有效性問題受到越來越多的關注。大量實驗表明，引起實測數據與仿真數據差異性的主要原因是電力系統的模型參數不準確。目前，電力系統模型一般采用的都是出廠的簡化參數，未考慮到實際運行中的各種情況，例如老化、磨損等。這就導致模型參數與實際參數出現偏差，偏差大時能夠使電力系統的安全運行產生蝴蝶效應，致使系統出現大范圍停電。此時需要對仿真所用的動態參數進行校核，以重建仿真的準確性。現有技術對仿真所用的動態參數進行校核采用的是啟發式算法，啟發式算法的缺陷在于：在解決高維度的參數校核問題時易陷入局部最優，且不具有記憶性，每次都需要重新搜索。由此可見，丞需一種準確有效智能的方法來對風電場的動態參數進行校核。

發明內容

本發明所要解決的技術問題是，克服現有技術的不足，利用廣域量測系統實測擾動數據，通過深度強化學習的方法對風電場動態參數進行校核，進而提供一種科學合理，適用性強，效果佳且能夠提高動態安全分析數值仿真精度的基于ME-TD3算法的風電場動態參數智能校核方法。

解決其技術問題采用的方案是：一種基于ME-TD3算法的風電場動態參數智能校核方法，其特征是，它包括以下內容：

1)裁剪雙Q學習：在對裁剪雙Q學習的基礎上，對裁剪雙Q學習進行改進，設置兩套評價網絡來估算Q值，并取相對較小的Q值作為兩個網絡更新的目標，目標值計算見式(1)，損失函數見式(2)，網絡的初始參數不同決定兩個網絡的Q值會出現差異，通過選擇小的Q值進行估計，

式中，y為目標值函數，r為即刻回報值，γ為折扣率，為狀態s'和動作下的目標價值函數，θ為評價網絡的權重參數，φ為動作網絡的權重參數，d為動作停止標志位，表示存放經驗的經驗池；

2)延遲策略更新：當動作網絡保持不變時，是否更新目標網絡都不會影響價值函數的正確收斂；但當動作和評價網同步更新時，不采用目標網絡就能夠使得訓練不穩定或發散，因此，為減小動作網絡更新所導致的目標變化所帶來的波動性，評價網絡的更新頻率要高于動作網絡的更新頻率，評價網更新k次后動作網更新1次來解決策略和值函數的耦合問題；

3)目標策略平滑：ME-TD3算法在構建價值函數的更新目標過程中，在原有動作的基礎上針對每一維度都施加一個服從正態分布的擾動值，并將施加擾動后的動作值限定在規定范圍之內，見式(3)，

式中，a'(s')為狀態s'下的動作值，為動作網絡輸出值，ε為正態分布擾動值，σ為正態分布方差，-c和c分別為正態分布擾動值的上、下限，a_Low和a_High分別為動作值上、下限；