[發(fā)明專利]一種毫米波系統(tǒng)中的動(dòng)態(tài)資源分配方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010243886.8
• 申請(qǐng)日: 2020-03-31
• 公開(kāi)（公告）號(hào): CN111431646B
• 公開(kāi)（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)炜?/a>;陳丹丹;張穎慧;郭彩麗
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué);內(nèi)蒙古大學(xué)
• 主分類號(hào): H04B17/382
• 分類號(hào): H04B17/382;H04B7/0408;H04B7/06
• 代理公司: 北京卓特專利代理事務(wù)所(普通合伙) 11572
• 代理人: 陳變花

1.一種毫米波系統(tǒng)中動(dòng)態(tài)資源分配方法，包括以下步驟：

初始化動(dòng)態(tài)場(chǎng)景相關(guān)的系統(tǒng)參數(shù)；初始化系統(tǒng)狀態(tài)：信道矩陣H⁰、波束分配b⁰和功率分配p⁰；初始化經(jīng)驗(yàn)池為空，容量N_max；初始化網(wǎng)絡(luò)參數(shù)θ＝θ⁰，θ^-＝θ，智能體動(dòng)作探索概率ε＝ε₀；

觀測(cè)動(dòng)態(tài)環(huán)境中信道狀態(tài)H^t、基站波束與用戶連接狀態(tài)b^t和功率分配狀態(tài)p^t構(gòu)建的狀態(tài)s_t＝(H^t,b^t,p^t)；

判斷當(dāng)前狀態(tài)s_t下采取的動(dòng)作a_t是否滿足優(yōu)化問(wèn)題中的約束條件C₁-C₅，其中，優(yōu)化問(wèn)題表示為：

其中，b^t表示基站波束與用戶連接狀態(tài)，p^t表示用戶功率分配狀態(tài)，其中F_R.J表示RajJain系數(shù)，表征用戶間傳輸速率的公平性，表示t時(shí)刻用戶k在波束m上的連接狀態(tài)，表示t時(shí)刻用戶k在波束m上的傳輸功率，表示t時(shí)刻的波速m調(diào)度的用戶k的傳輸速率，約束條件C₁表示為基站下行網(wǎng)絡(luò)總傳輸功率的約束，P_max表示基站最大傳輸功率；約束條件C₂表示每個(gè)用戶最小的傳輸速率是R_min；約束條件C₃保證每個(gè)用戶的傳輸功率為正值；約束條件C₄表示每個(gè)用戶至多被一個(gè)波束調(diào)度；約束條件C₅表示每個(gè)波束至多調(diào)度的用戶數(shù)為B_max，B_max≥2；

如果不滿足約束條件，則收益值設(shè)定為：r_t＝-1；

如果滿足約束條件，則收益值設(shè)定為：r_t＝F_R.J(b^t,p^t)；

將數(shù)據(jù)存入經(jīng)驗(yàn)池；

當(dāng)經(jīng)驗(yàn)池容量達(dá)到N_s，隨機(jī)選取N_m個(gè)歷史數(shù)據(jù)，進(jìn)行誤差計(jì)算，并反向傳遞訓(xùn)練Eval-Net Q網(wǎng)絡(luò)；

更新Target-Net Q網(wǎng)絡(luò)，每n步，把Eval-NetQ網(wǎng)絡(luò)復(fù)制給Target-Net Q網(wǎng)絡(luò)，即θ^-＝θ；

隨機(jī)產(chǎn)生數(shù)值ε_r與探索概率ε比較；若ε_r＜ε，從動(dòng)作集合中隨機(jī)選取動(dòng)作a_t，否則a_t＝argmax_aQ(s,a；θ)，其中a表示動(dòng)作，θ表示參數(shù)；

更新基站波束與用戶連接狀態(tài)b^t和用戶功率分配狀態(tài)p^t以及探索概率ε＝max(ε-ε_i,ε_e)，其中ε_i表示探索概率衰減因子，ε_e表示最終探索概率的大小；

經(jīng)過(guò)一段時(shí)間訓(xùn)練學(xué)習(xí)直至收斂，輸出最終基站波束與用戶連接狀態(tài)b、用戶功率分配狀態(tài)p。

2.根據(jù)權(quán)利要求1所述的毫米波系統(tǒng)中動(dòng)態(tài)資源分配方法，在初始化動(dòng)態(tài)場(chǎng)景相關(guān)的系統(tǒng)參數(shù)步驟之前，還包括：設(shè)計(jì)基于深度增強(qiáng)學(xué)習(xí)的聯(lián)合波束和功率分配DQN-JBPA方法的模型的步驟。