[發(fā)明專利]動(dòng)態(tài)波束調(diào)度方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202211711903.1
• 申請(qǐng)日: 2022-12-29
• 公開（公告）號(hào): CN116113050A
• 公開（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 黃銳;李屹寰;趙冬;齊浩;劉悅;陳宏
• 申請(qǐng)（專利權(quán)）人: 中國電信集團(tuán)衛(wèi)星通信有限公司
• 主分類號(hào): H04W72/12
• 分類號(hào): H04W72/12;H04W72/044;H04W72/53;H04W84/06;H04L41/16;G06N3/092
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 董文倩

本申請(qǐng)公開了一種動(dòng)態(tài)波束調(diào)度方法及裝置。其中，該方法包括：向衛(wèi)星通信系統(tǒng)下發(fā)第一波束調(diào)度指令，并獲取衛(wèi)星通信系統(tǒng)執(zhí)行第一波束調(diào)度指令后的第一波束投射狀態(tài)及波束覆蓋區(qū)域內(nèi)的第一網(wǎng)絡(luò)通信狀態(tài)；將第一波束投射狀態(tài)及第一網(wǎng)絡(luò)通信狀態(tài)輸入基于強(qiáng)化學(xué)習(xí)的波束調(diào)度策略模型，得到波束調(diào)度策略模型輸出的第二波束調(diào)度指令，其中，波束調(diào)度策略模型預(yù)測(cè)衛(wèi)星通信系統(tǒng)執(zhí)行第二波束調(diào)度指令后的波束覆蓋區(qū)域內(nèi)的第二網(wǎng)絡(luò)通信狀態(tài)優(yōu)于第一網(wǎng)絡(luò)通信狀態(tài)；向衛(wèi)星通信系統(tǒng)下發(fā)第二波束調(diào)度指令。本申請(qǐng)解決了相關(guān)技術(shù)中星地融合網(wǎng)絡(luò)中的波束調(diào)度效率較低、靈活性較差的技術(shù)問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及移動(dòng)通信技術(shù)領(lǐng)域，具體而言，涉及一種動(dòng)態(tài)波束調(diào)度方法及裝置。

背景技術(shù)

近年來，星地融合網(wǎng)絡(luò)(Satellite-Terrestrial?Integrated?Networks，STIN)在帶寬、功率消耗及頻譜效率等方面具有明顯的優(yōu)勢(shì)，因而逐漸成為未來通信領(lǐng)域一個(gè)新的研究亮點(diǎn)。另外，隨著無線終端設(shè)備數(shù)量的大規(guī)模增長(zhǎng)以及用戶對(duì)傳輸速率要求的不斷提升，高速率傳輸和低功率消耗成為未來通信系統(tǒng)需要考慮的關(guān)鍵問題之一。

相關(guān)動(dòng)態(tài)資源分配算法雖然在在提高系統(tǒng)吞吐量和減少數(shù)據(jù)包傳輸時(shí)延等方面取得了很大成就，但當(dāng)業(yè)務(wù)場(chǎng)景發(fā)生變化時(shí)，動(dòng)態(tài)資源分配算法就需要進(jìn)行更新迭代，且這些離線的啟發(fā)式算法的復(fù)雜度較高、靈活性較差，故不適合星載資源管理。因此，至今尚未提供一個(gè)高效率、高靈活性的波束調(diào)度方法可以應(yīng)用于星地融合網(wǎng)絡(luò)中。

針對(duì)上述的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種動(dòng)態(tài)波束調(diào)度方法及裝置，以至少解決相關(guān)技術(shù)中星地融合網(wǎng)絡(luò)中的波束調(diào)度效率較低、靈活性較差的技術(shù)問題。

根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種動(dòng)態(tài)波束調(diào)度方法，包括：向衛(wèi)星通信系統(tǒng)下發(fā)第一波束調(diào)度指令，并獲取衛(wèi)星通信系統(tǒng)執(zhí)行第一波束調(diào)度指令后的第一波束投射狀態(tài)及波束覆蓋區(qū)域內(nèi)的第一網(wǎng)絡(luò)通信狀態(tài)；將第一波束投射狀態(tài)及第一網(wǎng)絡(luò)通信狀態(tài)輸入基于強(qiáng)化學(xué)習(xí)的波束調(diào)度策略模型，得到波束調(diào)度策略模型輸出的第二波束調(diào)度指令，其中，波束調(diào)度策略模型預(yù)測(cè)衛(wèi)星通信系統(tǒng)執(zhí)行第二波束調(diào)度指令后的波束覆蓋區(qū)域內(nèi)的第二網(wǎng)絡(luò)通信狀態(tài)優(yōu)于第一網(wǎng)絡(luò)通信狀態(tài)；向衛(wèi)星通信系統(tǒng)下發(fā)第二波束調(diào)度指令。

可選地，第一波束投射狀態(tài)中至少包括：投射波束的第一數(shù)量和波束覆蓋區(qū)域的第二數(shù)量，其中，第一數(shù)量不大于第二數(shù)量；第一網(wǎng)絡(luò)通信狀態(tài)中至少包括：波束覆蓋區(qū)域內(nèi)的業(yè)務(wù)請(qǐng)求量、信干噪比、信道容量和信道傳輸時(shí)延，其中，信干噪比和信道容量是依據(jù)投射至波束覆蓋區(qū)域內(nèi)的波束的發(fā)射功率、功率增益和噪聲功率譜密度確定的。

可選地，波束調(diào)度策略模型中包括：波束調(diào)度策略確定子模型、經(jīng)驗(yàn)池、標(biāo)簽確定子模型和優(yōu)化器，其中，波束調(diào)度策略確定子模型中包括狀態(tài)動(dòng)作映射函數(shù)，用于依據(jù)第一波束投射狀態(tài)及第一網(wǎng)絡(luò)通信狀態(tài)確定第二波束調(diào)度指令；經(jīng)驗(yàn)池用于將歷次的第一波束調(diào)度指令、第一波束投射狀態(tài)、第一網(wǎng)絡(luò)通信狀態(tài)及第二波束調(diào)度指令以數(shù)組方式存儲(chǔ)作為訓(xùn)練樣本；標(biāo)簽確定子模型用于確定各個(gè)訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽；優(yōu)化器用于調(diào)整波束調(diào)度策略確定子模型的模型參數(shù)。

可選地，波束調(diào)度策略模型的訓(xùn)練過程包括：從經(jīng)驗(yàn)池中選擇預(yù)設(shè)數(shù)量的目標(biāo)訓(xùn)練樣本；利用標(biāo)簽確定子模型確定各個(gè)目標(biāo)訓(xùn)練樣本對(duì)應(yīng)的目標(biāo)樣本標(biāo)簽；將各個(gè)目標(biāo)訓(xùn)練樣本依次輸入波束調(diào)度策略確定子模型，并依據(jù)波束調(diào)度策略確定子模型的輸出結(jié)果和目標(biāo)樣本標(biāo)簽構(gòu)建目標(biāo)損失函數(shù)；利用優(yōu)化器通過最小化目標(biāo)損失函數(shù)的方式調(diào)整波束調(diào)度策略確定子模型的模型參數(shù)。

可選地，在對(duì)波束調(diào)度策略模型進(jìn)行訓(xùn)練之前，該方法還包括：初始化經(jīng)驗(yàn)池，并將歷次的第一波束調(diào)度指令、波束投射狀態(tài)、網(wǎng)絡(luò)通信狀態(tài)及第二波束調(diào)度指令以數(shù)組方式存儲(chǔ)至經(jīng)驗(yàn)池中作為訓(xùn)練樣本；在經(jīng)驗(yàn)池中的訓(xùn)練樣本數(shù)量超過第一預(yù)設(shè)閾值時(shí)，開始對(duì)波束調(diào)度策略模型進(jìn)行訓(xùn)練；其中，在經(jīng)驗(yàn)池中的訓(xùn)練樣本數(shù)量超過經(jīng)驗(yàn)池的容量閾值時(shí)，依據(jù)先進(jìn)先出原則刪除最先存儲(chǔ)至經(jīng)驗(yàn)池中的訓(xùn)練樣本。