[發明專利]一種基于強化學習的空間非合作目標參數自整定追蹤方法

有效

• 申請號: 201911172906.0
• 申請日: 2019-11-26
• 公開（公告）號: CN110850719B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 師鵬;王逍;張冉;鄧忠民;趙育善;徐添
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

本發明涉及一種基于強化學習的空間非合作目標參數自整定追蹤方法，包括以下步驟：第一步，建立追蹤星與目標星的相對動力學模型，設計控制律；第二步，根據第一步的動力學模型及控制律，建立基于強化學習的參數自整定學習框架；第三步，根據第二步的所述學習框架，與環境交互以迭代優化控制參數，最終實現對情形(a)的初始加速度降低及對情形(b)的終端跟蹤誤差降低；所述(a)失效衛星(b)帶機動非合作目標。

技術領域

本發明涉及一種基于強化學習的空間非合作目標參數自整定追蹤方法，屬于空間飛行器技術領域。

背景技術

隨著人們對空間飛行器研究的不斷進展，對航天交會對接提出了更高的需求，對空間合作目標的研究逐漸拓展至對空間非合作目標的研究。空間非合作目標大致包含兩類：一類是失效航天器，一般在空間中呈自旋狀態。另一類是帶有機動能力的非合作航天器，具有不受控且有產生空間對抗可能的特征。對非合作目標的跟蹤接近技術進行研究，有利于軌道垃圾清除，回收重要零部件，預警空間威脅等。

對失效航天器的在軌操作，對于航天技術的長遠發展意義重大。面向非合作航天器的自主停靠技術是實施對失效目標近距離停靠和對失效衛星跟蹤瞄準的基礎。在這一過程中，最為核心的步驟就是解決航天器相對運動中的姿軌聯合控制問題并考慮處理模型中的不確定性。PAN H以航天器編隊飛行為背景，建立了相對姿軌耦合動力學方程，并設計了質量與慣量未知的自適應控制律(參見Haizhou Pan and Vikram Kapila.Adaptivenonlinear control for spacecraft formation flying with coupled translationaland attitude dynamics.In Proceedings of the IEEE Conference on Decision andControl,volume 3,pages2057-2062,022001.)。

空間中還有一類非合作目標，即帶機動能力的空間目標。隨著空間競爭的加劇，對帶機動能力非合作目標的跟蹤控制技術越來越受到重視。與對失效衛星的逼近不同，對帶機動能力目標的跟蹤控制更多地體現在追逃問題，也稱空間博弈問題。在航空航天追逃問題領域，HORIE K和CONWAY B A以空戰對抗為背景，基于雙方極值原理，研究了半直接配點法，給出了空戰博弈求解方法,CONWAY B A隨后繼續將半直接配點法拓展到衛星三維空間對抗問題中，并用遺傳算法輔助尋找數值解初值(參見Mauro Pontani and BruceA.Conway.Numerical solution of the three-dimensional orbital pursuit evasiongame.Journal of Guidance ControlDynamics,32(32):474-487,2009.)。

對于第一類非合作目標，過去的研究工作較好地解決了對目標星和追蹤星之間的相對位姿建模與控制問題，用多種控制算法及最優控制來對問題進行求解，對于能量消耗及輸入受限問題等問題也有所討論。但是，在眾多控制算法中，控制參數的選取問題鮮少被提及，通常學者們采取試錯法來選取合適的參數。參數選擇不夠好，會導致初始控制加速度過大，機構易飽和，雖然有學者從輸入受限的角度從理論上優化控制器設計過程，本發明將從另一個角度討論如何利用強化學習直接對控制參數進行優化，降低初始控制加速度。

對于第二類非合作目標，從追蹤星的追蹤效果來看，博弈求解方法可以提供一種最糟糕條件下的控制方法，但涉及到復雜的HJB方程求解，使得該方法計算困難，動態性較差且抗模型不確定能力弱。而從反饋控制的角度出發所設計的控制器，尤其針對可能為非線性系統模型時，對固定時間的終端跟蹤誤差進行控制比較困難。本發明將利用強化學習，對控制參數進行調整，降低固定時間追逃問題中追蹤星的終端跟蹤誤差。