[發(fā)明專利]一種基于DQN的多業(yè)務(wù)低軌衛(wèi)星資源分配方法

有效

• 申請?zhí)枺?/td>: 202110523792.0
• 申請日: 2021-05-13
• 公開（公告）號: CN113258988B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計）人: 唐倫;李子煜;宋艾遙;孫移星;朱丹青;陳前斌
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: H04B7/185
• 分類號: H04B7/185;H04W72/04;G06N3/08;G06F30/27
• 代理公司: 北京同恒源知識產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

本發(fā)明涉及一種基于DQN的多業(yè)務(wù)低軌衛(wèi)星資源分配方法，屬于衛(wèi)星通信領(lǐng)域，包括以下步驟：S1：建立基于低軌衛(wèi)星多業(yè)務(wù)的聯(lián)合功率和信道分配模型；S2：將多波束低軌衛(wèi)星通信系統(tǒng)資源分配映射為智能體在環(huán)境中交互學(xué)習(xí)獲得最大化長期收益的問題；S3：通過狀態(tài)重構(gòu)及DQN算法對S2問題進(jìn)行求解。本發(fā)明可在滿足多業(yè)務(wù)用戶需求和維持業(yè)務(wù)隊列穩(wěn)定的條件下，提升系統(tǒng)吞吐量。

技術(shù)領(lǐng)域

本發(fā)明屬于衛(wèi)星通信領(lǐng)域，涉及一種基于DQN的多業(yè)務(wù)低軌衛(wèi)星資源分配方法。

背景技術(shù)

低軌衛(wèi)星通信系統(tǒng)作為地面通信系統(tǒng)的補(bǔ)充，具有更低的傳播時延和更高的吞吐量等不可替代的優(yōu)勢，被看作是5G通信的重要組成部分。由于社會和經(jīng)濟(jì)的內(nèi)在規(guī)律，不同地區(qū)所需的衛(wèi)星服務(wù)是不同的，導(dǎo)致各波束間業(yè)務(wù)量分布不均。網(wǎng)絡(luò)需求的表現(xiàn)與預(yù)設(shè)容量不同時，衛(wèi)星的配置難以適應(yīng)這種變化，網(wǎng)絡(luò)容易擁塞。由于衛(wèi)星帶寬有限，且通話不會立即結(jié)束，當(dāng)流量增加時，當(dāng)前資源分配結(jié)果對未來環(huán)境的影響更加明顯。隨著用戶終端業(yè)務(wù)類型的多樣化和業(yè)務(wù)量的極速增長，如何在容納更多用戶的同時提升服務(wù)質(zhì)量，使得低軌衛(wèi)星系統(tǒng)的資源分配問題更加復(fù)雜。

已有大量工作深入研究了衛(wèi)星通信系統(tǒng)的靈活資源分配策略且取得了較好的研究成果，但現(xiàn)有研究和技術(shù)的缺陷是：

1)GEO衛(wèi)星相對地面靜止不動，而低軌衛(wèi)星沿軌道高速移動，大約5至12分鐘內(nèi)覆蓋一片區(qū)域，難以直接將資源分配的算法應(yīng)用在低軌衛(wèi)星網(wǎng)絡(luò)。

2)多數(shù)衛(wèi)星的資源分配算法仍然采用傳統(tǒng)的迭代算法，人工參與因素明顯。當(dāng)面對復(fù)雜突變的網(wǎng)絡(luò)環(huán)境時，無法快速收斂，做出高效地響應(yīng)。

3)一些研究考慮將強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用于衛(wèi)星系統(tǒng)性能優(yōu)化，但仍針對單一資源的優(yōu)化。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于滿足多業(yè)務(wù)用戶需求和維持業(yè)務(wù)隊列穩(wěn)定，并提升系統(tǒng)吞吐量，提供一種基于DQN的多業(yè)務(wù)低軌衛(wèi)星資源分配方法。

為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于DQN的多業(yè)務(wù)低軌衛(wèi)星資源分配方法，包括以下步驟：

S1：建立基于低軌衛(wèi)星多業(yè)務(wù)的聯(lián)合功率和信道分配模型；

S2：將多波束低軌衛(wèi)星通信系統(tǒng)資源分配映射為智能體在環(huán)境中交互學(xué)習(xí)獲得最大化長期收益的問題；

S3：通過狀態(tài)重構(gòu)及DQN算法對S2問題進(jìn)行求解。

進(jìn)一步，步驟S1中具體包括：為保障切換用戶的通信質(zhì)量，建立基于低軌衛(wèi)星多業(yè)務(wù)的聯(lián)合功率和信道分配模型，以最大化系統(tǒng)吞吐量為目標(biāo)，同時受限于低軌衛(wèi)星覆蓋時間和業(yè)務(wù)隊列穩(wěn)定性，所述基于低軌衛(wèi)星多業(yè)務(wù)的聯(lián)合功率和信道分配模型包括：

S11：衛(wèi)星網(wǎng)絡(luò)為用戶U提供S＝{ss＝1,2,...,S}種不同的應(yīng)用服務(wù)，每種服務(wù)的優(yōu)先級權(quán)值設(shè)置為W＝[ω₁,ω₂,...,ω_S]，時隙t時波束n的信道分配狀態(tài)表示為其中，K是波束n中正在服務(wù)的呼叫數(shù)，表示業(yè)務(wù)類型，表示呼叫類型，為新呼叫，為切換呼叫，所有波束的信道分配狀態(tài)構(gòu)成衛(wèi)星的信道分配矩陣，表示為V(t)＝{υ₁(t),υ₂(t),...,υ_n(t)}；

S12：對于每個新呼叫，其狀態(tài)表示為其中i是當(dāng)前新呼叫用戶數(shù)，表示業(yè)務(wù)類型，表示呼叫類型，不同時刻下，V(t)會隨著用戶u(t)的到達(dá)或離開而變化，對應(yīng)分配或釋放相應(yīng)的資源；

S13：用戶與衛(wèi)星之間的端到端時延滿足低軌衛(wèi)星單波束的覆蓋時間約束，即業(yè)務(wù)s的總平均端到端時延和分別表示業(yè)務(wù)s的平均排隊時延和下行鏈路的傳播時延，T＝L/v_sat為波束覆蓋時長，v_sat是低軌衛(wèi)星運行速度，L為已知的衛(wèi)星覆蓋區(qū)域直徑；