[發明專利]一種星務軟件模塊故障復現的方法及系統

在審

• 申請號: 202011334417.3
• 申請日: 2020-11-24
• 公開（公告）號: CN112445665A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 鄧兵;韓笑冬;宮江雷;安衛鈺;李翔;呂小虎
• 申請（專利權）人: 中國空間技術研究院
• 主分類號: G06F11/22
• 分類號: G06F11/22;G06F11/36;H04B7/185
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 陳鵬

1.一種星務軟件模塊故障復現的方法，其特征在于，包括：

確定星務軟件模塊整個執行過程的動作集合和狀態集合，以及確定所述星務軟件模塊出現故障時的第一動作和第一狀態；

確定所述星務軟件模塊的初始狀態，基于預設的強化學習算法、所述初始狀態對所述動作集合和所述狀態集合中的動作和狀態進行遍歷訓練確定出執行每個動作后的預期未來獎勵值Q，直到達到預設訓練次數為止；

從所述初始狀態開始根據所述Q值模擬所述星務軟件模塊由所述初始狀態遷移到所述第一狀態。

2.如權利要求1所述的方法，其特征在于，確定星務軟件模塊整個執行過程的動作集合和狀態集合，包括：

確定所述星務軟件模塊的輸入數據和輸出數據，其中，所述輸入數據和所述輸出數據包括參數、變量以及指令；

根據所述輸入數據以及所述輸出數據預設范圍分別對所述輸入數據和所述輸出數據進行離散化處理得到離散化的輸入數據集和離散化的輸出數據集；

將所述離散化的輸入數據集作為所述動作集合，將所述離散化的輸出數據集作為所述狀態集合。

3.如權利要求2所述的方法，其特征在于，所述輸出數據包括使能開關、計數參數、硬件數據以及軟件數據，其中，所述計數參數為連續參數，所述硬件數據以及軟件數據包括連續數據和離散數據；

所述輸入數據包括輸入參數和輸入指令，其中，所述輸入參數和輸入指令包離散型輸入參數和輸入指令和連續型輸入參數和輸入指令；

根據所述輸入數據以及所述輸出數據預設范圍分別對所述輸入數據和所述輸出數據進行離散化處理得到離散化的輸入數據集和離散化的輸出數據集，包括：根據所述預設范圍對所述計數參數、所述硬件數據以及軟件數據中連續數據以及所述連續型輸入參數和輸入指令進行離散化處理得到所述離散化的輸入數據集和所述離散化的輸出數據集。

4.如權利要求3所述的方法，其特征在于，基于預設的強化學習算法、所述初始狀態對所述動作集合和所述狀態集合中的動作和狀態進行遍歷訓練確定出執行每個動作后的預期未來獎勵值Q，包括：

確定當前訓練的次數，根據所述當前訓練次數和預設的訓練次數最大值計算得到概率值，并隨機生成一隨機數，其中，所述隨機數的取值范圍為(0,1)；

根據所述概率值以及所述隨機數確定出所述初始狀態對應的初始動作，執行所述初始動作得到執行結果，根據所述執行結果更新懲罰函數，根據所述懲罰函數計算出所述每個動作對應的Q值。

5.如權利要求4所述的方法，其特征在于，根據所述當前訓練次數和預設的訓練次數最大值確計算得到概率值，包括：

通過如下公式計算所述概率值：

e＝1-(epoche/epoche_max)

其中，e表示所述概率值；epoche表示當前訓練次數；epoche_max表示預設的訓練次數最大值。

6.如權利要求5所述的方法，其特征在于，根據所述概率值以及所述隨機數確定出所述初始狀態對應的初始動作，包括：

判斷所述隨機數是否大于所述概率值；

若大于，則基于預設的最優解選擇出所述初始動作；

否則，確定所述動作集合中每個動作的選取概率，根據所述選取概率隨機從所述動作集合中選取出所述初始動作。

7.如權利要求6所述的方法，其特征在于，從所述初始狀態開始根據所述Q值模擬所述星務軟件模塊由所述初始狀態遷移到所述第一狀態，包括：

從所述初始狀態開始，每次選取Q值最大的動作進行狀態遷移模擬，以使得所述星務軟件模塊由所述初始狀態遷移到所述第一狀態，且具有最少遷移次數。