[發(fā)明專利]低軌衛(wèi)星網(wǎng)絡中基于Q學習的切換判決方法

在審

• 申請?zhí)枺?/td>: 202110267062.9
• 申請日: 2021-03-12
• 公開（公告）號: CN113038387A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設計）人: 李云;劉夢夢;吳廣富
• 申請（專利權(quán)）人: 重慶郵電大學
• 主分類號: H04W4/029
• 分類號: H04W4/029;H04W36/00;H04W36/22;H04W36/30
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 盧勝斌

1.一種低軌衛(wèi)星網(wǎng)絡中基于Q學習的切換判決方法，其特征在于，所述方法包括以下步驟：

S1、采用高斯馬爾科夫模型和衛(wèi)星的星歷信息預測出用戶終端可能的切換路徑，并確定所述用戶終端所對應的候選衛(wèi)星；

S2、基于候選衛(wèi)星的接收信號強度、服務時間、信道利用率以及中繼開銷四個切換因子，制定出用戶終端關聯(lián)不同候選衛(wèi)星的收益函數(shù)；

S3、計算出用戶終端在當前狀態(tài)下選擇不同決策動作所獲得的收益獎賞值；

S4、根據(jù)所述收益獎賞值，用戶終端采用Q學習算法計算出對應的Q值；

S5、用戶終端根據(jù)Q值表進行切換判決，使得用戶終端關聯(lián)到對應衛(wèi)星。

2.根據(jù)權(quán)利要求1所述的一種低軌衛(wèi)星網(wǎng)絡中基于Q學習的切換判決方法，其特征在于，確定所述用戶終端所對應的候選衛(wèi)星包括采用高斯馬爾科夫模型對用戶終端的運動速度和運動方向進行建模，預測出用戶終端的運動軌跡：確定出所述運動軌跡下有重疊覆蓋時間的衛(wèi)星；在衛(wèi)星的星歷信息約束下，得到處于用戶終端的通信時長內(nèi)可提供服務的候選衛(wèi)星。

3.根據(jù)權(quán)利要求2所述的一種低軌衛(wèi)星網(wǎng)絡中基于Q學習的切換判決方法，其特征在于，所述采用高斯馬爾科夫模型對用戶終端的運動速度和運動方向進行建模包括：

其中，v_i、d_i分別表示i時刻用戶終端的運動速度和方向；v_i-1、d_i-1分別表示i-1時刻用戶終端的運動速度和方向；k∈(0,1)是一個隨機性參數(shù)，可對速度和方向進行調(diào)整；分別表示某段時間內(nèi)用戶終端速度和方向的平均值；{δ_i-1}、{γ_i-1}是兩個服從均值為零，方差為1的不相關高斯過程；用戶終端在i時刻的坐標為(x_i,y_i)，在i-1時刻的坐標為(x_i-1,y_i-1)，兩者之間的關系表示為：

4.根據(jù)權(quán)利要求1所述的一種低軌衛(wèi)星網(wǎng)絡中基于Q學習的切換判決方法，其特征在于，所述用戶終端關聯(lián)不同候選衛(wèi)星的收益決策表示為：

R(s,a)＝w₁N(u_i)+w₂N(t_i)+w₃N(s_i)+w₄N(d_i)

其中，R(s,a)表示在狀態(tài)s下選擇決策動作a獲得的收益獎賞；N(u_i)表示信道利用率的歸一化函數(shù)，w₁表示信道利用率的權(quán)重；N(t_i)表示服務時間的歸一化函數(shù)；w₂表示服務時間的權(quán)重；N(s_i)表示接收信號強度值的歸一化函數(shù)；w₃表示接收信號強度值的權(quán)重；N(d_i)表示中繼開銷的歸一化函數(shù)；w₄表示中繼開銷的權(quán)重。

5.根據(jù)權(quán)利要求4所述的一種低軌衛(wèi)星網(wǎng)絡中基于Q學習的切換判決方法，其特征在于，各個權(quán)重通過層次分析法進行求解，具體包括對各個切換因子進行重要性分析，采用一致矩陣法構(gòu)建出判斷矩陣；計算出所述判斷矩陣的最大特征根對應的特征向量，將所述特征向量進行歸一化處理，將歸一化后的向量作為權(quán)重向量，即各個切換因子的權(quán)重值所對應的向量。

6.根據(jù)權(quán)利要求1所述的一種低軌衛(wèi)星網(wǎng)絡中基于Q學習的切換判決方法，其特征在于，所述Q學習算法計算出對應的Q值的計算公式表示為：

其中，Q_t+1(s,a)表示t+1時刻用戶終端在當前狀態(tài)s下采用決策動作a獲得的Q值；α表示學習率；γ表示折扣率；Q_t(s,a)表示t時刻用戶終端在當前狀態(tài)s下采用決策動作a獲得的Q值；R(s,a)表示在當前狀態(tài)s下選擇決策動作a后智能體獲得的即時獎勵值；表示智能體通過訓練累積的經(jīng)驗中獲知的最大收益。

7.根據(jù)權(quán)利要求1所述的一種低軌衛(wèi)星網(wǎng)絡中基于Q學習的切換判決方法，其特征在于，所述用戶終端根據(jù)Q值表進行切換判決包括判斷下一狀態(tài)是否為終止狀態(tài)，若為終止狀態(tài)，則輸出對應的用戶終端在當前狀態(tài)s下采用決策動作a的Q值，否則繼續(xù)更新用戶終端在不同狀態(tài)下的Q值，根據(jù)該Q值讓用戶終端關聯(lián)到對應衛(wèi)星。