[發(fā)明專利]一種考慮業(yè)務(wù)優(yōu)先級的多信道接入建模及分布式實(shí)現(xiàn)方法

在審

• 申請?zhí)枺?/td>: 202210158814.2
• 申請日: 2022-02-21
• 公開（公告）號: CN114501667A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 張樹英;倪祖耀;匡麟玲;趙旭
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: H04W74/04
• 分類號: H04W74/04;H04B17/382;G06N3/04;G06N3/08;G06F9/50
• 代理公司: 北京眾合誠成知識產(chǎn)權(quán)代理有限公司 11246
• 代理人: 張文寶

1.一種考慮業(yè)務(wù)優(yōu)先級的多信道接入建模及分布式實(shí)現(xiàn)方法，包括以下步驟：

步驟1：建立考慮業(yè)務(wù)優(yōu)先級的多鏈路動(dòng)態(tài)信道接入約束優(yōu)化模型；

步驟2：將所述步驟1建立的約束優(yōu)化模型轉(zhuǎn)化為Multi-agent強(qiáng)化學(xué)習(xí)決策過程，構(gòu)建基于所述約束優(yōu)化模型的多鏈路動(dòng)態(tài)信道決策的深度學(xué)習(xí)框架；

步驟3：將所述步驟1建立的約束優(yōu)化模型的優(yōu)化目標(biāo)作為獎(jiǎng)勵(lì)，對所述步驟2構(gòu)建的深度學(xué)習(xí)框架的所有Agent進(jìn)行集中訓(xùn)練，將訓(xùn)練好的Agent加載到網(wǎng)絡(luò)對應(yīng)的各鏈路發(fā)射機(jī)上進(jìn)行分布式執(zhí)行，輸入當(dāng)前時(shí)隙的各鏈路局部觀測，從而得到當(dāng)前時(shí)隙每條鏈路發(fā)射機(jī)選擇接入的信道。

2.根據(jù)權(quán)利要求1所述的一種考慮業(yè)務(wù)優(yōu)先級的多信道接入建模及分布式實(shí)現(xiàn)方法，其特征在于，所述步驟1中的約束優(yōu)化模型為：

在模型中，N條無線鏈路同時(shí)接入一段包含K個(gè)正交信道的無線頻譜，每條鏈路的發(fā)射機(jī)擁有一個(gè)包含L個(gè)優(yōu)先級的業(yè)務(wù)緩存隊(duì)列，且緩存隊(duì)列標(biāo)號越小優(yōu)先級越高，各隊(duì)列最大緩存容量為B_max個(gè)數(shù)據(jù)包；各信道在時(shí)間上被劃分成等周期時(shí)隙，連續(xù)F個(gè)時(shí)隙定義為一個(gè)時(shí)幀；假設(shè)所有鏈路已完成時(shí)間同步，各信道上每個(gè)時(shí)隙被稱為一個(gè)傳輸機(jī)會(huì)，且所有傳輸機(jī)會(huì)的容量為1個(gè)數(shù)據(jù)包；在時(shí)隙t、第n條鏈路的發(fā)射機(jī)根據(jù)自己的緩存隊(duì)列情況做出信道選擇決策從而獲得各信道的反饋表示第i條信道被第n條鏈路的發(fā)射機(jī)選擇，否則沒被選擇，表示第n條鏈路的信息在第i條信道上被成功傳輸，否則沒有成功或因不選擇該鏈路而沒有反饋；ρ_n(t)為鏈路傳輸價(jià)值變量：

其中，B_u是用于歸一化鏈路傳輸價(jià)值的常數(shù)，為第l^*優(yōu)先級隊(duì)列的權(quán)重，且有表示第n條鏈路發(fā)射機(jī)當(dāng)前不為零的優(yōu)先級隊(duì)列中最高優(yōu)先隊(duì)列的標(biāo)號；

為每個(gè)傳輸機(jī)會(huì)用于傳輸不同鏈路業(yè)務(wù)對全網(wǎng)產(chǎn)生的效益為：

優(yōu)化目標(biāo)Opt₁表示一個(gè)時(shí)幀內(nèi)所有鏈路的效益和，優(yōu)化目標(biāo)Opt₂為當(dāng)前時(shí)幀內(nèi)所有鏈路都完成傳輸時(shí)的時(shí)隙標(biāo)號；約束條件C1表示每條鏈路發(fā)射機(jī)決策動(dòng)作的定義；約束條件C2表示每條鏈路發(fā)射機(jī)各級業(yè)務(wù)緩存隊(duì)列中數(shù)據(jù)包的更新；約束條件C3表示每條鏈路傳輸價(jià)值的更新；C4表示每條鏈路發(fā)射機(jī)在當(dāng)前時(shí)隙選擇接入信道的總?cè)萘坎淮笥诋?dāng)前需要傳輸數(shù)據(jù)包的總數(shù)；約束條件C5表示一個(gè)信道只能被一條鏈路成功接入，否則會(huì)發(fā)生碰撞；約束條件C6給出優(yōu)化目標(biāo)的Opt₂數(shù)學(xué)表達(dá)。

3.根據(jù)權(quán)利要求1所述的一種考慮業(yè)務(wù)優(yōu)先級的多信道接入建模及分布式實(shí)現(xiàn)方法，其特征在于，所述步驟2中，基于Multi-agent深度強(qiáng)化學(xué)習(xí)框架中配有N個(gè)Agent，每個(gè)Agent配有一個(gè)相同架構(gòu)的多層神經(jīng)網(wǎng)絡(luò)，其中第一層用于接收每條鏈路的局部觀測，最后一層直接輸出所有信道接入決策的Q值，用于動(dòng)作的選擇；每個(gè)Agent的局部觀測為：

其中，表示第n條鏈路發(fā)射機(jī)所有緩存隊(duì)列中當(dāng)前緩存的數(shù)據(jù)包數(shù)量；ρ_n(t)表示第n條鏈路當(dāng)前時(shí)隙的傳輸價(jià)值；a_n(t-1)表示第n條鏈路發(fā)射機(jī)上一時(shí)隙的決策動(dòng)作；表示上一時(shí)隙動(dòng)作對應(yīng)的各信道反饋；表示第n條鏈路對各信道的感知結(jié)果；e和ε分別為當(dāng)前訓(xùn)練的次數(shù)和隨機(jī)選擇的概率；

各Agent的動(dòng)作空間定義為：

其維度為2^K；

所述深度強(qiáng)化學(xué)習(xí)框架按照所有鏈路發(fā)射機(jī)緩存隊(duì)列沒有清空之前所獲得獎(jiǎng)勵(lì)為所有鏈路效益和，以及當(dāng)所有鏈路發(fā)射機(jī)的各級緩存隊(duì)列數(shù)據(jù)包均被清空后所獲得獎(jiǎng)勵(lì)為一個(gè)常數(shù)r₀設(shè)定協(xié)作獎(jiǎng)勵(lì)方程：