[發明專利]一種基于深強化學習的航空發動機控制方法、裝置

在審

• 申請號: 202010328588.9
• 申請日: 2020-04-23
• 公開（公告）號: CN111486009A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 鄭前鋼;項德威;席志華;陳浩穎;劉子赫;張海波;胡忠志;李秋紅
• 申請（專利權）人: 南京航空航天大學
• 主分類號: F02C9/28
• 分類號: F02C9/28
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 楊楠

1.一種基于深強化學習的航空發動機控制方法，首先根據控制指令和反饋參數獲得初始的燃油流量，然后根據預設的發動機物理限制對初步的燃油流量進行修正，最后按照修正后的燃油流量向航空發動機輸入相應流量的燃油；其特征在于，所述根據控制指令和反饋參數獲得初始的燃油流量，具體是通過深度強化學習網絡實現，所述深度強化學習網絡的動作值函數Q_j(s,a)如下：

其中s是發動機狀態，a是發動機的動作，α是深度強化學習的學習率,r是回報值,γ是回報衰減率,s_j是第j時刻發動機狀態，s_t是發動機目標狀態；回報值r_j的計算公式具體如下：

其中，是預測的控制目標值，u是發動機控制輸入，Q和R是正定的對稱矩陣。

2.如權利要求1所述基于深強化學習的航空發動機控制方法，其特征在于，所述深度強化學習網絡的輸入為當前和過去的燃油流量W_fb、過去時刻風扇轉子轉速N_f、壓氣機轉子轉速N_c、風扇喘振裕度S_mf、壓氣機喘振裕度S_mc以及高壓渦輪進口溫度T₄₁，所述深度強化學習網絡的輸出為動作值函數。

3.一種基于深強化學習的航空發動機控制裝置，包括：用于根據控制指令和反饋參數獲得初始的燃油流量的控制器，用于根據預設的發動機物理限制對初步的燃油流量進行修正的限制選擇單元；用于按照修正后的燃油流量向航空發動機輸入相應流量的燃油的執行機構；其特征在于，所述控制器為深度強化學習網絡，所述深度強化學習網絡的動作值函數Q_j(s,a)如下：

其中s是發動機狀態，a是發動機的動作，α是深度強化學習的學習率,r是回報值,γ是回報衰減率,s_j是第j時刻發動機狀態，s_t是發動機目標狀態；回報值r_j的計算公式具體如下：

其中，是預測的控制目標值，u是發動機控制輸入，Q和R是正定的對稱矩陣。

4.如權利要求3所述基于深強化學習的航空發動機控制裝置，其特征在于，所述深度強化學習網絡的輸入為當前和過去的燃油流量W_fb、過去時刻風扇轉子轉速N_f、壓氣機轉子轉速N_c、風扇喘振裕度S_mf、壓氣機喘振裕度S_mc以及高壓渦輪進口溫度T₄₁，所述深度強化學習網絡的輸出為動作值函數。