[發明專利]一種基于Q-Learning的變循環航空發動機推力控制方法

有效

• 申請號: 202010502785.8
• 申請日: 2020-06-05
• 公開（公告）號: CN111594322B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 齊義文;張弛;黃捷;項松;劉遠強;于文科;陳禹西;岳文豪
• 申請（專利權）人: 沈陽航空航天大學
• 主分類號: F02C9/28
• 分類號: F02C9/28
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 劉曉嵐

本發明提供一種基于Q?Learning的變循環航空發動機推力控制方法，屬于航空發動機控制與仿真技術領域，該方法包括：通過Q學習方法建立變循環航空發動機的動作值函數，根據控制指令和反饋參數，結合ε?貪婪策略，得到適宜的變循環航空發動機燃油流量；進一步，按所述燃油流量對變循環航空發動機推力進行控制，并根據系統的反饋更新動作值函數。本發明采用Q?Learning方法構建變循環航空發動機推力控制器，且隨著訓練次數的增加，發動機動態、穩態特性逐步提升，可顯著提高發動機性能。此外，Q?Learning控制器可不斷累積經驗，對不同的控制指令或推力要求，迅速調整燃油流量，實現具有自主學習能力的變循環航空發動機快速、穩定控制。

技術領域

本發明屬于航空發動機控制與仿真技術領域，具體涉及了一種基于Q-Learning的變循環航空發動機推力控制方法。

背景技術

變循環航空發動機通過改變發動機某些可變幾何部件的尺寸、形狀、位置來改變發動機的循環參數，提高發動機推進系統的整體性能。同時，變循環航空發動機又兼具多種工作模式，在亞音速、跨音速、超音速及高超音速工況下都能表現出較好的性能。但一個快速、準確、穩定且具有一定自主學習能力的控制系統是保證發動機整體性能的前提條件，而如PID控制、自抗擾控制、模糊控制等傳統控制方法對于變循環航空發動機這一類具有強非線性、多變量、多工種模式等特性的復雜系統，難以在全包線和變工況下達到具有自主學習能力理想的控制效能。此外，傳統控制技術對復雜系統難以滿足控制精度要求、對于強非線性系統魯棒性較差、響應速度慢等缺點。因此，探索其他性能更優異的控制方法變得十分重要。

近年來，人工智能技術發展迅速，已被廣泛應用到生產生活中的諸多領域，如圖像處理、無人駕駛、智能機器人等，也帶動了機器學習這一重要的技術分支，而強化學習作為機器學習的重要內容，受到了廣大科技者的青睞。目前，強化學習技術多被應用于搜索與優化問題的求解，從經典的倒立擺問題到機器人路徑尋優等問題中均有體現。然而，強化學習方法在控制領域并不多見。從強化學習原理出發，控制器也可以實現智能體的試錯功能，模型反饋的一系列參數可作為控制器的狀態輸入變量。最重要的一點是，獎勵可以根據需求人為設定，進一步滿足更高的控制性能要求。綜上所述，強化學習算法可在包括航空發動機控制等自動控制領域發揮重要作用。

發明內容

針對現有技術存在的不足，本發明提供一種基于Q-Learning算法的變循環航空發動機推力控制方法，實現具有強非線性、多變量、多模式的變循環發動機快速、穩定控制，使得發動機隨訓練次數增加，其控制系統動態、穩態特性不斷增強，從而提高發動機的整體性能。為解決上述技術問題，本發明采用如下技術方案：

一種基于Q-Learning的變循環航空發動機推力控制方法，具體實現步驟為：

步驟1：基于變循環航空發動機仿真模型建立Q-Learning推力控制器，以仿真模型作為訓練環境，創建二維表(Q表)對動作值函數Q(s，a)進行表示，其中，s為變循環航空發動機狀態參數，a為燃油流量；

步驟2：確定變循環航空發動機推力控制器當前時刻燃油流量a_t；

步驟2.1：獲取變循環航空發動機當前的狀態，計算變循環航空發動機當前時刻狀態參數s_t；

步驟2.2：將所述變循環航空發動機當前時刻狀態參數s_t與燃油流量a作為Q表輸入，查找所有可選擇的燃油流量a的價值，即Q值，利用ε-貪婪策略計算控制器輸出，即當前時刻燃油流量a_t；

步驟3：將所述當前時刻燃油流量a_t分配至變循環航空發動機推力控制器，實現變循環航空發動機的推力控制；

步驟4：更新動作值函數Q(s，a)；

步驟4.1：獲取變循環航空發動機下一時刻狀態參數s_t+1，計算延時獎勵R_t+1；