[發明專利]一種基于DQN的多業務低軌衛星資源分配方法

有效

• 申請號: 202110523792.0
• 申請日: 2021-05-13
• 公開（公告）號: CN113258988B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 唐倫;李子煜;宋艾遙;孫移星;朱丹青;陳前斌
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04B7/185
• 分類號: H04B7/185;H04W72/04;G06N3/08;G06F30/27
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

1.一種基于DQN的多業務低軌衛星資源分配方法，其特征在于：包括以下步驟：

S1：建立基于低軌衛星多業務的聯合功率和信道分配模型；所述步驟S1具體包括：

S11：衛星網絡為用戶U提供S＝{s|s＝1,2,...,S}種不同的應用服務，每種服務的優先級權值設置為W＝[ω₁,ω₂,...,ω_S]，時隙t時波束n的信道分配狀態表示為K是波束n中正在服務的呼叫數，其中，表示業務類型，表示呼叫類型，為新呼叫，為切換呼叫，所有波束的信道分配狀態構成衛星的信道分配矩陣，表示為V(t)＝{υ₁(t),υ₂(t),...,υ_n(t)}；

S12：對于每個新呼叫，其狀態表示為其中i是當前新呼叫用戶數，表示業務類型，表示呼叫類型，不同時刻下，V(t)會隨著用戶u(t)的到達或離開而變化，對應分配或釋放相應的資源；

S13：用戶與衛星之間的端到端時延滿足低軌衛星單波束的覆蓋時間約束，即業務s的總平均端到端時延和分別表示業務s的平均排隊時延和下行鏈路的傳播時延，T＝L/v_sat為波束覆蓋時長，v_sat是低軌衛星運行速度，L為已知的衛星覆蓋區域直徑；

S14：隊列穩定性是衛星系統為每個業務構建相應的排隊隊列Q_s(t)滿足時，隊列是穩定的，其中，Q_s(t)表示業務s在時隙t開始時的衛星中緩沖區隊列長度，E為隊列的期望；

S2：將多波束低軌衛星通信系統資源分配映射為智能體在環境中交互學習獲得最大化長期收益的問題；

S3：通過狀態重構及DQN算法對步驟S2中的問題進行求解。

2.根據權利要求1所述的基于DQN的多業務低軌衛星資源分配方法，其特征在于：所述步驟S2中具體包括：

S21：狀態空間定義為s_t＝{V(t),P(t),Q_s(t),u(t)}，其中，V(t)為時隙t衛星的信道分配信息，P(t)為功率分配信息，Q_s(t)為時隙t業務的隊列長度，u(t)為時隙t新請求業務的用戶信息；

S22：動作空間定義為a_t＝{x_nc(t),p(t)}，其中，x_nc(t)表示時隙t波束n中的信道c是否為用戶分配信道，x_nc(t)＝1即時隙t將波束n中的信道c分配給用戶，反之x_nc(t)＝0則不分配，p(t)為用戶分配功率的大小；

S23：獎勵函數定義為系統即時獎勵是網絡中所有新業務請求用戶的即時獎勵之和，等價于其中，ω_S為用戶的服務類型為s時的權重值，κ反映用戶的優先級，即切換用戶的優先級高于新接入用戶，當新用戶請求時，將獎賞收益值設置為與傳輸速率有關的值，則系統吞吐量表示為其中，R_unc表示為用戶分配的傳輸速率，R_th為用戶正常傳輸所需的最小傳輸速率；當為用戶分配的傳輸速率低于該用戶正常傳輸所需的最小傳輸速率R_th時，表明此次分配策略效果較差，給予反饋反之給予反饋

3.根據權利要求1所述的基于DQN的多業務低軌衛星資源分配方法，其特征在于：步驟S3中所述的狀態重構過程包括：

S311：將與新用戶相關的波束簡化為源波束周圍一圈的波束，被壓縮后的波束為其中，表示新請求業務u_t的源波束與其周圍波束n之間的偏角，h為衛星高度，θ_3dB為3dB波束寬度；

S312：壓縮后的功率分配信息和衛星信道分配信息分布表示為和

S313：進一步將壓縮后的衛星信道分配信息V^*(t)和用戶u(t)中的信息通過one-hot編碼進行處理為重構后的狀態空間為φ(s_t)＝{U^*(t),P^*(t),Q_s(t)}。