[發明專利]基于動態獎勵的強化學習深空探測器自主任務規劃方法及系統

在審

• 申請號: 202111536074.3
• 申請日: 2021-12-15
• 公開（公告）號: CN115018231A
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 王彬;毛維楊;柳景興
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/08;G06N3/04
• 代理公司: 昆明人從眾知識產權代理有限公司 53204
• 代理人: 陳波

本發明公開了一種基于動態獎勵的強化學習深空探測器自主任務規劃方法及系統，方法包括定義深空探測器任務規劃強化學習參數；構建智能體交互環境；構建策略網絡；訓練策略網絡；利用訓練好的策略網絡執行任務規劃。本發明把深空探測任務規劃中的時間約束、資源約束和時序約束融合在深空探測器任務規劃強化學習模型的訓練過程中，可保證深空探測器任務規劃過程中滿足多種約束，增強了深空探測器智能體對復雜環境的適應性，同時動態獎勵算法將資源約束、時間約束和時序約束融合在一起構建了即時獎勵模型，并據此定義損失函數更新策略梯度，在保證多約束條件的前提下加快了深空探測器自主任務規劃強化學習模型的收斂速度，減小了偏差，提高了自主任務規劃質量。

技術領域

本發明涉及一種基于動態獎勵的強化學習深空探測器自主任務規劃方法，屬于航空航天技術領域。

背景技術

深空探測領域是現今世界重要技術發展領域之一，深空探測由于其探測對象的可知特征不完備性和環境的復雜性，使得附著任務難度很大，為了順利地完成科學探索任務，需要深空探測器具備較高自主性，能夠在復雜未知的環境中自主任務規劃。

深空探測器在附著過程中，需要具備對各種任務進行規劃的能力，根據各種外界環境、自身系統的狀態以及各種約束條件，規劃出一組可執行的動作序列。

在以往的探測器規劃研究中，有學者提出包含平臺和載荷任務管理的兩階段航天器自主任務規劃算法，實現了平載一體的航天器自主任務管理，其能夠根據高級任務目標輸出完整的指令序列。

傳統的很多針對深空探測領域的規劃問題過于被動，探測器的自主性不夠高，面對突發情況，不能夠較好的應對。

發明內容

本發明提供了一種基于動態獎勵的強化學習深空探測器自主任務規劃方法，以用于解決深空探測器在執行深空探測任務時的任務規劃問題。

本發明的技術方案是：一種基于動態獎勵的強化學習深空探測器自主任務規劃方法，包括：

S1、定義深空探測器任務規劃強化學習參數；

S2、構建智能體交互環境；

S3、構建策略網絡；

S4、訓練策略網絡；

S5、利用訓練好的策略網絡執行任務規劃。

所述定義深空探測器任務規劃強化學習參數，包括：

定義1、任務；任務用公式(1)表示：

F＝{I_F,N_F,E_FL,E_FP,t_FES,t_FLE} (1)

式中：F代表深空探測器可執行的科學任務；I_F代表任務F的編號；N_F代表任務F的名稱；E_FL代表任務F的任務價值；E_FP代表任務F的優先級；t_FES代表任務F最早開始時間；t_FLE代表任務F最晚開始時間；

定義2、資源集；資源集表示深空探測器在執行動作的時候會用到的資源所組成的集合；用R表示，如公式(2)表示：

R＝{r₁,r₂,...,r_i,...,r_|R|} (2)

式中：r_i表示第i種資源；|R|表示集合R的元素個數，即表示資源的種類數量；代表第i種資源的編號；代表第i種資源的名字；代表第i種資源的剩余量；代表該第i種資源的類型，即該資源為可再生資源還是為不可再生資源；