[發(fā)明專利]一種基于深度Q網(wǎng)絡(luò)的動(dòng)態(tài)多信道協(xié)作感知方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010433237.4
• 申請(qǐng)日: 2020-05-20
• 公開（公告）號(hào): CN111669759A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設(shè)計(jì)）人: 劉帥;吳佳韻;張堯;洪彩霞;吳吉鑫;肖溫;何靜
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): H04W16/14
• 分類號(hào): H04W16/14;H04W74/08;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李鵬威

1.一種基于深度Q網(wǎng)絡(luò)的動(dòng)態(tài)多信道協(xié)作感知方法，其特征在于，包括以下步驟：

步驟1)、在整個(gè)認(rèn)知無線電的環(huán)境下，感知階段初期將所有次級(jí)用戶的狀態(tài)矩陣發(fā)送給協(xié)同服務(wù)器并發(fā)起協(xié)同請(qǐng)求；

步驟2)、協(xié)同服務(wù)器在接收到協(xié)同請(qǐng)求后，以次級(jí)用戶的狀態(tài)矩陣作為深度Q網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，利用DDQN網(wǎng)絡(luò)結(jié)構(gòu)保持深度Q網(wǎng)絡(luò)內(nèi)部狀態(tài)，以維度為K+1的向量作為次級(jí)用戶下一時(shí)隙占用信道的協(xié)同矩陣輸出至服務(wù)器；

步驟3)、服務(wù)器根據(jù)協(xié)同矩陣對(duì)次級(jí)用戶進(jìn)行信道接入，并根據(jù)信道的真實(shí)狀態(tài)得到即時(shí)獎(jiǎng)勵(lì)，更新次級(jí)用戶的狀態(tài)矩陣，進(jìn)入下一時(shí)隙的感知階段。

2.根據(jù)權(quán)利要求1所述的一種基于深度Q網(wǎng)絡(luò)的動(dòng)態(tài)多信道協(xié)作感知方法，其特征在于，步驟1)具體包括以下步驟：將所有次級(jí)用戶狀態(tài)矩陣發(fā)送給協(xié)同服務(wù)器，狀態(tài)矩陣的維度為N*(2K+2)，表達(dá)式如下：

其中s_i表示第i個(gè)次級(jí)用戶的狀態(tài)，每個(gè)次級(jí)用戶的狀態(tài)由2K+2個(gè)元素組成，前K+1個(gè)元素表示用戶的發(fā)送情況，中間K個(gè)元素表示K個(gè)信道的剩余容量，最后1個(gè)元素表示ack信號(hào)，其中：

s_i＝[ξ₁，…，ξ_K+1，c₁，…，c_K，ack]

其中ξ_j表示選擇第j-1個(gè)信道進(jìn)行發(fā)送，c_j表示第j個(gè)信道的剩余量，ack表示ack信號(hào)。

3.根據(jù)權(quán)利要求2所述的一種基于深度Q網(wǎng)絡(luò)的動(dòng)態(tài)多信道協(xié)作感知方法，其特征在于，用戶的發(fā)送情況具體為：如果用戶未發(fā)送，則第一個(gè)元素值為1，其他元素值為0；如果用戶選擇信道K進(jìn)行發(fā)送，則第K+1個(gè)元素值為1，其他元素值為0。

4.根據(jù)權(quán)利要求2所述的一種基于深度Q網(wǎng)絡(luò)的動(dòng)態(tài)多信道協(xié)作感知方法，其特征在于，2.1協(xié)同服務(wù)器將次級(jí)用戶的狀態(tài)矩陣按行分為N份，將每份狀態(tài)矩陣的s_i作為輸入向量，輸入到深度Q網(wǎng)絡(luò)中；

2.2深度Q網(wǎng)絡(luò)利用DDQN網(wǎng)絡(luò)結(jié)構(gòu)保持網(wǎng)絡(luò)內(nèi)部狀態(tài)，將維度為K+1的向量作為輸出，如果向量中第一個(gè)元素值最大，次級(jí)用戶則選擇不發(fā)送數(shù)據(jù)包；如果向量中第K(k＞1)個(gè)元素值最大，次級(jí)用戶則選擇在第K+1個(gè)信道發(fā)送數(shù)據(jù)包；

2.3組合N個(gè)次級(jí)用戶選擇的信道序號(hào)，作為次級(jí)用戶下一時(shí)隙占用信道的協(xié)同矩陣，并將其發(fā)送給接入服務(wù)器。

5.根據(jù)權(quán)利要求4所述的一種基于深度Q網(wǎng)絡(luò)的動(dòng)態(tài)多信道協(xié)作感知方法，其特征在于，將s_i作為Dueling DQN網(wǎng)絡(luò)結(jié)構(gòu)的輸入，依據(jù)Matmul函數(shù)和Relu函數(shù)計(jì)算第j層隱含層輸出h_j，表達(dá)式如下：

h_j＝Relu(Matmul(s，w_j)+b_j)

其中w_j表示DDQN網(wǎng)絡(luò)結(jié)構(gòu)中第j層隱含層的權(quán)重矩陣；b_j表示第j層隱含層的偏移矩陣；

2.2.2依據(jù)隱含層的輸出h_j分別計(jì)算價(jià)值v和優(yōu)勢(shì)A：

V＝Matmul(h_j，w_j，1)+b_j，1

A＝Matmul(h_j，w_j，2)+b_j，2

2.2.3對(duì)優(yōu)勢(shì)A進(jìn)行優(yōu)化：

A＝A-Reduce_Mean(A)

2.2.4將價(jià)值v和優(yōu)勢(shì)A相加就可以得到維度為1*(K+1)的Q值矩陣：

Q(s)＝V+A

當(dāng)在Q值矩陣中，如第一個(gè)元素對(duì)應(yīng)的值最大，則代表當(dāng)前次級(jí)用戶選擇不發(fā)送數(shù)據(jù)包；如果第K+1個(gè)元素對(duì)應(yīng)的值最大，則代表當(dāng)前次級(jí)用戶選擇在第K個(gè)信道發(fā)送數(shù)據(jù)包；相對(duì)應(yīng)選擇的信道序號(hào)即為a_i；

2.2.5組合N個(gè)次級(jí)用戶選擇的信道序號(hào)，作為次級(jí)用戶下一時(shí)隙占用信道的協(xié)同矩陣，表達(dá)如下：

action＝[a₁，a₂，…，a_N]。