[發明專利]一種基于遷移深度強化學習的低軌衛星跳波束優化方法

有效

• 申請號: 202210027841.6
• 申請日: 2022-01-11
• 公開（公告）號: CN114362810B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 陳前斌;麻世慶;梁承超;唐倫;段瑞吉
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04B7/185
• 分類號: H04B7/185;H04B17/336;H04B17/382;H04L41/0823;H04L41/14
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 廖曦

1.一種基于遷移深度強化學習的低軌衛星跳波束優化方法，其特征在于，該方法具體包括以下步驟：

S1：在多波束低軌衛星收集服務區域用戶需求之后，聯合星上服務小區緩沖信息、決策時刻的業務到達情況和當前位置下用戶的信道狀態，以最小化衛星上數據包平均排隊和傳輸時延為目標，建立支持跳波束技術的低軌衛星資源分配優化模型；

S2：根據步驟S1建立的模型，將數據包的變化場景建模為馬爾可夫決策過程，將每一時刻數據包緩存情況重構為狀態，執行波束調度策略和功率分配動作，設定所有數據包的平均時延為獎勵，并采用DQN算法利用神經網絡作為非線性近似函數，智能地選擇當前狀態下的最優決策；

S3：采用TL-DQN算法利用源衛星學習的調度任務快速尋找目標衛星的波束調度策略和功率分配策略；

步驟S1中，建立支持跳波束技術的低軌衛星資源分配優化模型，具體包括以下步驟：

S11：對于被分配到波束的小區c_n，即在時刻t_j的信干燥比表示為：

其中，C＝{c₁,...,c_n,...,c_N}表示待服務的小區集合，表示服務不同小區的波束功率分配，為小區獲得的波束調度決策；表示在時刻t_j服務小區c_i的波束到小區c_n的功率增益；和分別表示在時刻t_j服務小區c_n和c_i的波束發射功率；N₀表示噪聲功率譜密度；W表示波束使用的全帶寬；表示小區c_n在時刻t_j獲得波束調度，反之則沒有；

S12：計算小區c_n的信道容量表達式為：

其中，表示小區c_n在時刻t_j的信干噪比；f_DVB-S2(·)是基于衛星第二代數字視頻廣播規范的映射函數；

S13：計算各個時刻數據包集合的遞歸形式，表達式為：

其中，函數g(·)是具有先到先服務原則的數據包調度過程；X(t_j-1)表示上一時刻的波束調度決策，H(t_j-1)表示上一時刻的信道條件，Λ(t_j-1)表示上一時刻的數據包到達情況；是當前時刻t_j的星上緩沖區數據包集合；

S14：計算小區c_n在t_j-1到t_j時間段內的數據包吞吐量表達式為：

S15：計算數據包平均排隊和傳輸時延τ，表達式為：

其中，τ_q表示數據包排隊時延，τ_t表示數據包傳輸時延，表示數據包到達時刻，t_j表示決策時刻，M表示數據包的大小；系統的總吞吐量根據所有時刻緩沖區數據包的數量和數據包到達率確定，小區c_n在總的時間段內的數據包吞吐量表示為：

S16：建立支持跳波束技術的低軌衛星資源分配優化模型為：

其中，集合T＝{t₁,t₂,···}表示在一段時間內的決策時刻集合，P_tot表示衛星的總載波功率，表示小區的最小吞吐量要求，表示小區c_n的總吞吐量，K表示衛星的有源波束數，p_i表示星上擬發送給小區c_n的緩沖區中的數據包。