[發明專利]衛星南北保持策略模型的建模方法、系統、獲取方法

有效

• 申請號: 202211408069.9
• 申請日: 2022-11-10
• 公開（公告）號: CN115758705B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 吳琳琳;吳新林;何鎮武;吳凌根;陳倩茹;王麗穎;張琳娜
• 申請（專利權）人: 北京航天馭星科技有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06F17/15
• 代理公司: 北京美智年華知識產權代理事務所(普通合伙) 11846
• 代理人: 李晨露;梁忠益

1.一種基于Double?DQN的衛星南北保持策略模型的建模方法，其特征在于，包括以下步驟：

S1：初始化模型，獲取多組衛星訓練狀態數據組，每組衛星訓練狀態數據組包括衛星的初始狀態、多個預期軌控時刻和預期軌控次數；每個衛星的初始狀態包括初始時刻衛星傾角；

S2：向模型中輸入一組衛星訓練狀態數據組的初始時刻衛星傾角，得到初始時刻之后所有傾角控制行為及所對應輸出的Q值；

S3：獲取當前時刻衛星傾角，根據貪心策略獲得衛星執行的傾角控制行為；

S4：執行傾角控制行為，得到下一時刻衛星傾角和下次實際控制時刻；根據下次實際控制時刻、南北保持策略獎勵函數得到獎勵；所述南北保持策略獎勵函數采用公式1：

其中，r_t為當前時刻衛星進行傾角控制行為所獲得的獎勵，Δt為距離下次實際控制時刻的時間間隔，根據當前時刻及下一次實際控制時刻獲得；t₀為與當前時刻距離最近的預期軌控時刻；t為當前時刻；

S5：將當前時刻衛星傾角、衛星執行的傾角控制行為、獎勵和下一時刻衛星傾角作為一組衛星組合狀態數據組存入經驗池中；

S6：從經驗池中取出多組衛星組合狀態數據組，根據目標神經網絡權值參數計算每個衛星組合狀態數據組的目標值；

S7：根據損失函數計算誤差，并更新當前神經網絡權值參數；

S8：根據值函數更新Q值；將下一時刻衛星傾角作為當前時刻衛星傾角；

S9：重復執行步驟S3-S8，執行步驟S3-S8的次數等于該組衛星訓練狀態數據組的預期軌控次數；每重復執行指定迭代次數的步驟S3-S8后，根據當前神經網絡權值參數更新目標神經網絡權值參數；

S10：重復執行步驟S2-S9，直到輸入完所有衛星訓練狀態數據組的數據。

2.根據權利要求1所述的基于Double?DQN的衛星南北保持策略模型的建模方法，其特征在于，步驟S1中，衛星傾角的數據為衛星在軌道上的二維傾角，該二維傾角根據衛星軌道傾角和升交點赤經獲得；

S＝(i_x，i_y)；

其中，s表示衛星在軌道上的二維傾角，i表示衛星軌道傾角，Ω表示升交點赤經。

3.根據權利要求1所述的基于Double?DQN的衛星南北保持策略模型的建模方法，其特征在于，步驟S3中，所述根據貪心策略獲得衛星執行的傾角控制行為的方法包括：衛星以第一指定概率隨機選擇傾角控制行為、或以第二指定概率執行最大Q值所對應的傾角控制行為；第一指定概率和第二指定概率之和等于1。

4.根據權利要求1所述的基于Double?DQN的衛星南北保持策略模型的建模方法，其特征在于，步驟S6中，所述根據目標神經網絡權值參數計算每個衛星組合狀態數據組的目標值的方法采用公式2：

其中，y_j表示目標值，γ為折扣值，θ′為目標神經網絡權值參數，θ為當前神經網絡權值參數，表示一組衛星組合狀態數據組中的下一時刻衛星執行傾角控制行為a后得到的Q值，表示選擇能使一組衛星組合狀態數據組中的下一時刻衛星執行傾角控制行為a后得到的最大Q值所對應的傾角控制行為，s_j+1表示一組衛星組合狀態數據組中的下一時刻衛星傾角，a表示衛星執行的傾角控制行為，r_j表示一組衛星組合狀態數據組中的獎勵。

5.根據權利要求1所述的基于Double?DQN的衛星南北保持策略模型的建模方法，其特征在于，步驟S7中，所述損失函數采用公式3：

其中，y_j表示目標值，θ為當前神經網絡權值參數，Q(s_j，a_j；θ)表示一組衛星組合狀態數據組中的當前時刻衛星執行傾角控制行為a_j后的Q值，s_j表示一組衛星組合狀態數據組中的當前時刻衛星傾角，a_j表示當前時刻衛星執行的傾角控制行為，m為衛星組合狀態數據組的數量。