[發明專利]基于深度強化學習的航空發動機加速控制方法

有效

• 申請號: 202011145906.4
• 申請日: 2020-10-23
• 公開（公告）號: CN112241123B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 趙永平;胡乾坤
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 秦秋星

本發明提供一種基于深度強化學習的航空發動機加速控制方法，根據發動機加速控制過程的需求與特點，對其建立相應的馬爾可夫決策過程模型。同時根據反饋控制輸出響應的特點，本發明提供一種新穎的階段性獎勵函數，可集成到此馬爾可夫決策過程模型中。最后，針對發動機加速控制的馬爾可夫決策過程模型，應用深度強化學習算法，可以求解出較優的航空發動機控制策略。相比于傳統的PID控制算法，發動機加速控制效果得到了改善。本發明克服了傳統的PID控制算法，在發動機加速控制中由于發動機控制對象的復雜性，而存在的性能缺陷。并且階段性獎勵函數消除了深度強化學習直接應用于發動機加速控制容易導致震蕩的缺點。

技術領域

本發明針對航空發動機加速控制，利用深度強化學習(Deep ReinforcementLearning)算法與新型階段性獎勵函數相結合，應用到航空發動機加速控制領域，來縮短航空發動機加速用時，提高航空發動機的整體機動性能。

背景技術

在現在空戰中，經常存在戰斗機之間的短距離空戰(dogfight)。在這種戰斗情形下，戰斗機需要快速地改變飛行姿態和路徑，從而在短距離空戰中取得一定的戰略優勢。這種類型的空戰尤其依賴戰斗機的飛行敏捷性。飛行敏捷性越強意味著在短距離空戰中擁有更多的機動性優勢。通常，飛機的飛行敏捷性優劣與航空發動機的加速性能密切相關。發動機加速性能的改善可以賦予飛機更優的飛行敏捷性。因此，如何提高航空發動機的加速性能成為了當下的研究熱點。傳統的發動機控制系統通常為單輸入單輸出結構，其中控制輸入量為燃油率，輸出量為發動機轉速。比例-積分-微分(Proportional-integral-derivative,PID)控制算法作為一種經典的控制算法，具有結構簡單、魯棒性強、容易調參等優點。近些年來，盡管各種先進控制算法的蓬勃發展，在航空發動機領域，仍然采取PID算法來進行航空發動機的加速控制。然而，由于航空發動機為多變量、時變、強非線性系統。采用PID控制器較難獲得更好的航空發動加速性能。

深度強化學習(Deep Reinforcement Learning,DRL)算法由Google DeepMind團隊提出，是強化學習和和深度學習的一種結合。自提出以來，深度強化學習被廣泛應用游戲、機器人控制以及金融等領域。深度強化學習通過與環境模型的交互，逐漸學得最優的控制策略。近年來深度強化學習已經成功解決了許多之前挑戰性的序列性決策問題。例如，Mnih等提出了基于卷積神經網絡的深度強化學習，并直接從高維輸入中成功學習了控制策略。在2020年，Shalumov等將DRL應用于目標導彈防御問題，該方法能夠估計防御者的最佳發射時間和導彈的最佳制導律。在2019年，Xu等將DRL應用于智能變形飛機的變形控制問題中，在他們的研究中，DRL成功解決了飛機在特定任務飛行狀態下的自動變形優化問題。Gaudet等也將DRL應用于解決導彈跟蹤問題，相比于傳統算法，DRL學得的導桿跟蹤策略具有更好的性能。除了上述應用，許多研究人員也將DRL應用于航空發動機領域。2017年，Zhang等提出了一種基于DRL的航空發動機的最佳穩態控制器，該控制器解決了航空發動機在穩態點的跟蹤問題，并且具有較強的抗干擾能力。Zheng等人在2019年應用深度Q學習(Deep Q learning,DQN)到航空發動機加速控制。在他們的研究中，提出了一種基于DQN的航空發動機控制方法，以提高發動機的加速性能。然而航空發動機的控制輸入量為連續值，DQN僅適用于離散輸入量的控制環境。因此在一定程度上限制了航空發動機加速性能的進一步改進。除了DRL的算法應用外，DRL應用于控制領域時獎勵函數的設計，也存在一定的研究空白。傳統情況下采用誤差反饋的絕對值作為獎勵值，然而容易引起控制系統產生震蕩，進一步限制航空發動機加速性能的提高。因此目前的DRL算法在航空發動機領域的應用以及獎勵函數的設計，都存在一定的局限性與研究空白。

發明內容

發明目的：