[發明專利]一種基于深度Q網絡的動態多信道協作感知方法在審

申請號：	202010433237.4	申請日：	2020-05-20
公開（公告）號：	CN111669759A	公開（公告）日：	2020-09-15
發明（設計）人：	劉帥;吳佳韻;張堯;洪彩霞;吳吉鑫;肖溫;何靜	申請（專利權）人：	西安交通大學
主分類號：	H04W16/14	分類號：	H04W16/14;H04W74/08;G06N3/04;G06N3/08
代理公司：	西安通大專利代理有限責任公司 61200	代理人：	李鵬威
地址：	710049 ***	國省代碼：	陜西;61
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于深度網絡動態信道協作感知方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種基于深度Q網絡的動態多信道協作感知方法，在初始感知階段初期將所有次級用戶的狀態矩陣發送給協同服務器并發起協同請求，協同服務器在接收到協同請求后，以次級用戶的狀態矩陣作為深度Q網絡的輸入進行訓練，利用DDQN網絡結構保持深度Q網絡內部狀態，以維度為K+1的向量作為次級用戶下一時隙占用信道的協同矩陣輸出至服務器，接入服務器接收請求后，根據協同矩陣對次級用戶進行信道接入，并根據信道的真實狀態得到即時獎勵；本發明結合深度Q網絡算法從用戶角度出發實現頻譜信道資源的合理利用，將更加直觀、有效的提升信道的利用率，主動規避多用戶之間的碰撞問題造成的信道資源的浪費，從而提高了信道資源利用率。

技術領域

本發明屬于無線網絡中頻譜分配領域，涉及一種基于深度Q網絡的動態多信道協作感知方法。

背景技術

隨著互聯網通訊不斷的發展，越來越多的次級用戶對頻譜信道的資源利用提出了更高的要求，尤其是在授權信道存在大部分空閑的情況下，如何在最大限度利用授權信道的前提下，減少次級用戶之間沖突導致的接入信道失敗概率，成為一個亟待解決的問題。所以頻譜信道分配作為認知無線電關鍵技術之一被廣泛研究中。

面對多用戶協同分配信道的情況，傳統方法通過共享次級用戶之間的信息，即騰出一條專用的公有信道來廣播信息。但是公有廣播信道存在很多不足，首先是這條公有信道很容易被外界控制導致存在安全隱患；其次，需要同時調度廣播所有用戶，所以調度的復雜度和成本比較高；最后這條專有的公共信道必須擁有固定的帶寬，限制了網絡的可變性。目前很難出現一條公有信道貫穿整個網絡，因為授權信道的無規則分布，隨著網絡結構動態的變化，公有信道也要跟著變化，穩定性太差。

發明內容

本發明的目的在于提供一種基于深度Q網絡的動態多信道協作感知方法，以克服現有技術的不足。

為達到上述目的，本發明采用如下技術方案：

一種基于深度Q網絡的動態多信道協作感知方法，包括以下步驟：

步驟1)、在整個認知無線電的環境下，感知階段初期將所有次級用戶的狀態矩陣發送給協同服務器并發起協同請求；

步驟2)、協同服務器在接收到協同請求后，以次級用戶的狀態矩陣作為深度Q網絡的輸入進行訓練，利用DDQN網絡結構保持深度Q網絡內部狀態，以維度為K+1的向量作為次級用戶下一時隙占用信道的協同矩陣輸出至服務器；

步驟3)、服務器根據協同矩陣對次級用戶進行信道接入，并根據信道的真實狀態得到即時獎勵，更新次級用戶的狀態矩陣，進入下一時隙的感知階段。

進一步的，步驟1)具體包括以下步驟：將所有次級用戶狀態矩陣發送給協同服務器，狀態矩陣的維度為N*(2K+2)，表達式如下：

其中s_i表示第i個次級用戶的狀態，每個次級用戶的狀態由2K+2個元素組成，前K+1個元素表示用戶的發送情況，中間K個元素表示K個信道的剩余容量，最后1個元素表示ack信號，其中：

s_i＝[ξ₁，…，ξ_K+1，c₁，…，c_K，ack]

其中ξ_j表示選擇第j-1個信道進行發送，c_j表示第j個信道的剩余量，ack表示ack信號。

進一步的，用戶的發送情況具體為：如果用戶未發送，則第一個元素值為1，其他元素值為0；如果用戶選擇信道K進行發送，則第K+1個元素值為1，其他元素值為0。