[發(fā)明專利]無蜂窩毫米波下基于波束圖像堆疊的智能波束追蹤方法

在審

• 申請?zhí)枺?/td>: 202310258039.2
• 申請日: 2023-03-17
• 公開（公告）號: CN116346185A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 李佳珉;金忻月;林子彥;葉楓;朱鵬程;王東明;尤肖虎
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: H04B7/06
• 分類號: H04B7/06;H04B7/0452
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 沈廉

1.一種無蜂窩毫米波下基于波束圖像堆疊的智能波束追蹤方法，其特征在于：該方法應(yīng)用于無蜂窩毫米波網(wǎng)絡(luò)中，包括以下步驟：

步驟1：在無蜂窩毫米波下構(gòu)建多用戶移動網(wǎng)絡(luò)，網(wǎng)絡(luò)中包含多個(gè)毫米波接入點(diǎn)AP和多個(gè)移動用戶MU。AP與MU進(jìn)行無線通信前，需要通過波束對準(zhǔn)。在用戶移動場景下進(jìn)行的波束對準(zhǔn)叫做波束追蹤。在進(jìn)行波束追蹤前，需要構(gòu)建信道以及獲取一些必須的信息；

步驟2：基于已有的信息，定義波束圖像、深度Q-網(wǎng)絡(luò)DQN中的狀態(tài)、動作和回報(bào)函數(shù)，以及初始化智能體；

步驟3：智能體初始化之后，開始進(jìn)行訓(xùn)練，主要包括：執(zhí)行動作并與環(huán)境交互，獲得觀測值計(jì)算回報(bào)值以及將一次交互的數(shù)據(jù)存儲；

步驟4：基于已有的信息，智能體開始進(jìn)行智能決策，主要工作是基于DQN算法動態(tài)智能求解波束子空間：

步驟4.1，獲取最優(yōu)指向波束：每個(gè)智能體進(jìn)行波束掃描以獲得初始的最優(yōu)指向波束；

步驟4.2，實(shí)時(shí)交互訓(xùn)練DQN網(wǎng)絡(luò)：包括采用動態(tài)貪心算法決策出最大Q值的動作，進(jìn)行步驟3.1-3.3，不斷交互訓(xùn)練，同時(shí)使用經(jīng)驗(yàn)重放更新記憶池。

2.根據(jù)權(quán)利要求1所述無蜂窩毫米波下基于波束圖像堆疊的智能波束追蹤方法，其特征在于：所述步驟1具體包括：

步驟1.1，構(gòu)建信道模型：在無蜂窩毫米波用戶移動網(wǎng)絡(luò)中，一共有L個(gè)隨機(jī)分布的毫米波接入點(diǎn)AP連接到中央處理器CPU，每個(gè)AP有N_AP根天線，N_RF個(gè)射頻鏈；同時(shí)有K個(gè)單天線移動用戶MU隨機(jī)分布在覆蓋區(qū)域內(nèi)，MU和AP通信前，需要通過波束對準(zhǔn)與毫米波AP執(zhí)行波束分配，假設(shè)第k個(gè)MU與第l個(gè)AP之間的信道為：采用毫米波窄帶e_SV模型；同時(shí)每個(gè)AP端為均勻線性天線的天線陣列ULA，為了降低無蜂窩毫米波網(wǎng)絡(luò)中的干擾，模擬預(yù)編碼碼本采用正交的離散傅里葉變化DFT碼本,即其中n,q分別表示行和列元素；

步驟1.2，確定AP與MU的服務(wù)狀態(tài)：表示第k個(gè)MU的服務(wù)AP集合，表示第l個(gè)AP的服務(wù)用戶集合，這兩個(gè)集合為已知；每個(gè)AP只需為其服務(wù)的MU設(shè)計(jì)數(shù)字預(yù)編碼向量，每一條服務(wù)關(guān)系都對應(yīng)一個(gè)智能體，因此每個(gè)AP有N_RF個(gè)智能體，其中活躍的智能體數(shù)量不大于N_RF；

步驟1.3，構(gòu)建接收信號模型：依據(jù)系統(tǒng)架構(gòu)和信道模型給出MU的接收信號表達(dá)式。

3.根據(jù)權(quán)利要求1所述無蜂窩毫米波下基于波束圖像堆疊的智能波束追蹤方法，其特征在于：所述步驟2具體包括：

步驟2.1，定義波束圖像：每個(gè)AP從預(yù)定義的模擬碼本中發(fā)送全向的訓(xùn)練信號，MU測量接收到的所有等效信道為其中的每一列表示第k個(gè)MU與第l個(gè)AP之間的信道的共軛轉(zhuǎn)置與DFT碼本中的一個(gè)碼本相乘；波束圖像定義為為實(shí)際波束掃描獲取到的等效信道的矩陣拼接，若某一個(gè)碼本模式未被選用來進(jìn)行波束掃描，則該數(shù)據(jù)為0；

步驟2.2，定義狀態(tài)：將波束圖像進(jìn)行堆疊，構(gòu)造成時(shí)間維度上的波束圖像；

步驟2.3，定義動作：由(a,b)表示，a代表智能體對用戶移動之后的下一個(gè)波束搜索中心的預(yù)測，b代表在預(yù)測的波束中心附近搜索的范圍大小；

步驟2.4，定義回報(bào)函數(shù)：將t時(shí)刻第k個(gè)MU與第l個(gè)AP之間的回報(bào)函數(shù)設(shè)計(jì)為其中t_s,t_p,t_c分別是掃單個(gè)波束的時(shí)間，計(jì)算數(shù)字預(yù)編碼的時(shí)間，以及一個(gè)時(shí)隙的時(shí)間，表示在下行t時(shí)刻第k個(gè)MU與第l個(gè)AP之間的信號與干擾加噪聲比；

步驟2.5，初始化DQN網(wǎng)絡(luò)的關(guān)鍵參數(shù)：關(guān)鍵參數(shù)包括記憶池容量大小D，訓(xùn)練池容量主網(wǎng)絡(luò)以及目標(biāo)網(wǎng)絡(luò)權(quán)重θ,θ'，貪心算法概率ε。

4.根據(jù)權(quán)利要求1所述無蜂窩毫米波下基于波束圖像堆疊的智能波束追蹤方法，其特征在于：所述步驟3具體包括：

步驟3.1，智能體執(zhí)行動作：每個(gè)智能體依次發(fā)送碼本子空間的波束進(jìn)行波束掃描，與環(huán)境進(jìn)行交互；

步驟3.2，獲得波束圖像：智能體執(zhí)行完動作之后，獲得波束圖像矩陣，同時(shí)智能體之間進(jìn)行信息交互并計(jì)算得出回報(bào)值；

步驟3.3，智能體堆疊波束圖像成為新狀態(tài)，將動作，狀態(tài)，新狀態(tài)，回報(bào)值存儲到記憶池。

5.根據(jù)權(quán)利要求1所述無蜂窩毫米波下基于波束圖像堆疊的智能波束追蹤方法，其特征在于：所述DQN網(wǎng)絡(luò)，通過堆疊基于波束掃描獲得的波束圖像構(gòu)建DQN智能體的狀態(tài)，并設(shè)計(jì)基于差分技術(shù)的動作空間和有效的回報(bào)函數(shù)來評判DQN智能體的決策優(yōu)劣，主要包括以下步驟：

步驟1，狀態(tài)State：

將波束圖像進(jìn)行堆疊，構(gòu)造成時(shí)間維度上的波束圖像：s_kl,t＝[I_kl,t-T+1,I_kl,t-T+2…I_kl,t]，表示將第k個(gè)MU與第l個(gè)AP之間的當(dāng)前t時(shí)刻之前的T個(gè)時(shí)刻的波束圖像進(jìn)行矩陣拼接；

步驟2，動作Action：

下一個(gè)時(shí)刻的動作由(a,b)表示，因此，下一個(gè)時(shí)刻的用于波束掃描的波束子集為{w_opt+w_a-(b//2),…w_opt+w_a,…w_opt+w_a+(b-b//2)}，其中w_opt是上個(gè)時(shí)刻的最優(yōu)波束；其主要思想是差分波束，第k個(gè)MU的動作空間可以定義為其中A∈(-N,N),B∈(0,N)，其中N為DFT碼本中的波束模式數(shù)，假設(shè)N＝N_AP，A,B分別表示波束搜索中心的最大預(yù)測值和波束搜索范圍的可選區(qū)間，根據(jù)環(huán)境設(shè)置A,B為不同的數(shù)值，可以有效的降低波束掃描帶來的開銷；

步驟3，回報(bào)函數(shù)Reward：

設(shè)計(jì)回報(bào)函數(shù)的時(shí)候需要考慮兩個(gè)原則：一是誘導(dǎo)智能體往性能最優(yōu)的方向；二是回報(bào)函數(shù)應(yīng)當(dāng)與搜索碼本的大小以及所用時(shí)間相關(guān)，誘導(dǎo)智能體決策出更小且適當(dāng)?shù)膭幼骺臻g，縮小波束掃描的時(shí)間；將回報(bào)函數(shù)設(shè)計(jì)為該回報(bào)函數(shù)的設(shè)計(jì)既反映出性能指標(biāo)，也反應(yīng)出所選動作的質(zhì)量。