[發明專利]一種基于遷移深度強化學習的低軌衛星跳波束優化方法

有效

• 申請號: 202210027841.6
• 申請日: 2022-01-11
• 公開（公告）號: CN114362810B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 陳前斌;麻世慶;梁承超;唐倫;段瑞吉
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04B7/185
• 分類號: H04B7/185;H04B17/336;H04B17/382;H04L41/0823;H04L41/14
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 廖曦

本發明涉及一種基于遷移深度強化學習的低軌衛星跳波束優化方法，屬于衛星移動通信技術領域。該方法包括：S1：建立支持跳波束技術的低軌衛星資源分配優化模型；S2：將數據包的變化場景建模為馬爾可夫決策過程，將每一時刻數據包緩存情況重構為狀態，執行波束調度策略和功率分配動作，設定所有數據包的平均時延為獎勵，采用DQN算法利用神經網絡作為非線性近似函數，智能地選擇當前狀態下的最優決策；S3：采用TL?DQN算法利用源衛星學習的調度任務快速尋找目標衛星的波束調度策略和功率分配策略。本發明能完善衛星服務過程中的時隙分配，優化數據包的平均時延，并提高系統的吞吐量和資源利用效率。

技術領域

本發明屬于衛星移動通信技術領域，涉及一種基于遷移深度強化學習的低軌衛星跳波束優化方法。

背景技術

寬帶衛星通信系統在世界性因特網發展中，作為一個關鍵的構成部分，被廣泛普及和應用，逐漸呈現出了良好的發展態勢。而多波束天線技術作為寬帶衛星通信系統的必選技術之一，已經在眾多的實際衛星通信系統中得到廣泛的應用。LEO通信系統是近年來應用多波束天線技術的熱門衛星系統之一，也是未來空天地一體化網絡的重要組成部分。傳統的低軌衛星多波束技術平等的分配帶寬資源和功率資源，該技術資源損耗大、星上功率利用率低，且對于用戶非均勻分布的場景存在資源巨大浪費等缺陷。跳波束技術是衛星通信領域最新的研究成果之一，該技術通過控制星載多波束天線的空間指向、帶寬、頻點和發射功率，為用戶終端動態配置通信資源，提高衛星資源在帶寬和功率方面的使用效率，為時域帶寬分配提供了便利的平臺。

盡管有不少文獻在基于跳波束的資源分配上取得了較好的成果，但仍然需要進一步的改進，主要存在幾個方面的問題。首先，大多數對跳波束的研究集中在高軌衛星，缺乏對低軌衛星上應用跳波束技術的可靠研究，且大多數工作沒有考慮衛星覆蓋區域下業務動態變化大、衛星相對地面的運動使信道條件不斷變化等因素，因此沒有建立完善的衛星跳波束設計場景。由于在低軌衛星環境下通信資源和通信需求劇烈變化，傳統的跳波束資源分配算法復雜度高、計算量大，無法直接使用于低軌衛星上。另外，大多數基于跳波束的資源分配只關注系統的吞吐量，而低軌衛星服務時間短暫，對業務的時延敏感，因此優化問題應側重考慮減小業務時延性能，使優化目標與系統特性相匹配。

發明內容

有鑒于此，本發明的目的在于提供一種基于遷移深度強化學習的低軌衛星跳波束優化方法，考慮低軌衛星環境下通信資源和通信需求劇烈變化等因素，實現低軌衛星和跳波束的有效結合，完善衛星服務過程中的時隙分配，優化數據包的平均時延，并提高系統的吞吐量和資源利用效率。

為達到上述目的，本發明提供如下技術方案：

一種基于遷移深度強化學習的低軌衛星跳波束優化方法，具體包括以下步驟：

S1：在多波束低軌衛星收集服務區域用戶需求之后，聯合星上服務小區緩沖信息、決策時刻的業務到達情況和當前位置下用戶的信道狀態，以最小化衛星上數據包平均排隊和傳輸時延為目標，建立支持跳波束技術的低軌衛星資源分配優化模型；

S2：根據步驟S1建立的模型，將數據包的變化場景建模為馬爾可夫決策過程，將每一時刻數據包緩存情況重構為狀態，執行波束調度策略和功率分配動作，設定所有數據包的平均時延為獎勵，并采用DQN算法利用神經網絡作為非線性近似函數，智能地選擇當前狀態下的最優決策。

該步驟針對傳統跳波束圖案設計方法無法匹配低軌衛星網絡動態多變性，考慮動態隨機變化的通信資源和通信需求，采用DQN算法利用神經網絡作為非線性近似函數，解決了低軌衛星上波束組合的維度災難問題。

S3：為了實現并加速DQN算法在其他目標任務中的收斂過程，引入了TL算法，采用TL-DQN算法利用源衛星學習的調度任務快速尋找目標衛星的波束調度策略和功率分配策略。

進一步，步驟S1中，建立支持跳波束技術的低軌衛星資源分配優化模型，具體包括以下步驟：