[發明專利]基于動態獎勵的強化學習深空探測器自主任務規劃方法及系統

在審

• 申請號: 202111536074.3
• 申請日: 2021-12-15
• 公開（公告）號: CN115018231A
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 王彬;毛維楊;柳景興
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/08;G06N3/04
• 代理公司: 昆明人從眾知識產權代理有限公司 53204
• 代理人: 陳波

1.一種基于動態獎勵的強化學習深空探測器自主任務規劃方法，其特征在于：包括：

S1、定義深空探測器任務規劃強化學習參數；

S2、構建智能體交互環境；

S3、構建策略網絡；

S4、訓練策略網絡；

S5、利用訓練好的策略網絡執行任務規劃。

2.根據權利要求1所述的基于動態獎勵的強化學習深空探測器自主任務規劃方法，其特征在于：所述定義深空探測器任務規劃強化學習參數，包括：

定義1、任務；任務用公式(1)表示：

F＝{I_F,N_F,E_FL,E_FP,t_FES,t_FLE} (1)

式中：F代表深空探測器可執行的科學任務；I_F代表任務F的編號；N_F代表任務F的名稱；E_FL代表任務F的任務價值；E_FP代表任務F的優先級；t_FES代表任務F最早開始時間；t_FLE代表任務F最晚開始時間；

定義2、資源集；資源集表示深空探測器在執行動作的時候會用到的資源所組成的集合；用R表示，如公式(2)表示：

R＝{r₁,r₂,...,r_i,...,r_|R|} (2)

式中：r_i表示第i種資源；|R|表示集合R的元素個數，即表示資源的種類數量；代表第i種資源的編號；代表第i種資源的名字；代表第i種資源的剩余量；代表該第i種資源的類型，即該資源為可再生資源還是為不可再生資源；

定義3、深空探測器狀態集；用S來表示深空探測器的狀態集，假設探測器一共有N個子系統；第j個子系統的狀態集用S_j表示，其狀態有|S_j|種；S_j表示為式(4)，S可表示為式(5)，具體為：

S＝S₁∪S₂∪...S_j...∪S_N (5)

式中：s_jk表示第j個子系統的第k個狀態；|S_j|表示集合S_j的元素個數，即第j個子系統的狀態個數；S_j表示第j個子系統的狀態集；

定義4、可執行動作；可執動作即為深空探測器可以執行的動作；用a_jh表示，代表第j個子系統的第h個可執行動作，如公式(6)所示：

式中：代表動作a_jh的編號；代動作a_jh動持續時長；代表動作a_jh消耗的資源集合；R代表深空探測器的資源集，是R的子集；

定義5、深空探測器可執行動作集；用A來表示深空探測器可執行動作集；第j個子系統的可執行動作集用A_j表示，其種類有|A_j|種；A_j表示為式(8)，A表示為式(9)：

A＝A₁∪A₂∪...A_j...∪A_N (9)

式中：|A_j|表示集合的元素個數，即第j個子系統的可執行動作數；A_j表示第j個子系統的可執行動作集；

定義6、深空探測器狀態轉換集；

構建三元組為G＝(S,A,S)；其中，G表示深空探測器狀態與動作的狀態轉換集合，S表示深空探測器狀態集，該集合中有|S|種狀態；A表示深空探測器可執行動作集，該集合有|A|種可執行動作；三元組的基本形式是(s_jk,a_jh,s_jk+1)，其中s_jk表示第j個子系統的第k個狀態，s_jk+1表示第j個子系統執行了動作a_jh后到達的第k+1個狀態；三元組G中的第一個元素s_jk來自S，第二個元素a_jh來自A，第三個元素s_jk+1來自S。