[發(fā)明專利]基于雙向長短時記憶網(wǎng)絡(luò)的動態(tài)頻譜接入方法

有效

• 申請?zhí)枺?/td>: 202011505701.2
• 申請日: 2020-12-18
• 公開（公告）號: CN112672359B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計）人: 高玉龍;陳鵬;郭士增
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號: H04W16/14
• 分類號: H04W16/14;G06N3/04;G06N3/08
• 代理公司: 哈爾濱華夏松花江知識產(chǎn)權(quán)代理有限公司 23213
• 代理人: 楊曉輝

基于雙向長短時記憶網(wǎng)絡(luò)的動態(tài)頻譜接入方法，屬于認知無線電技術(shù)領(lǐng)域，本發(fā)明為解決現(xiàn)有頻譜共享使用方法未考慮頻譜資源的動態(tài)性和不完全觀測性，應(yīng)用單一的問題。它包括：通信系統(tǒng)在正交頻分多址情況下，每個信道固定分配給一個主用戶，主用戶依據(jù)自主接入策略傳輸信息，次級用戶在每個時隙依據(jù)歷史動作數(shù)據(jù)預(yù)測信道占用狀態(tài)，選取其中一個未占用信道傳輸信息；次級用戶傳輸信息方法包括：采用雙向長短時記憶網(wǎng)絡(luò)優(yōu)化DQN強化學(xué)習(xí)算法，形成DBRQN算法模型；將歷史動作數(shù)據(jù)輸入DBRQN算法模型預(yù)測動態(tài)頻譜空洞；感知預(yù)測到的動態(tài)頻譜空洞，獲取最優(yōu)信道接入策略，然后動態(tài)接入空閑頻譜空洞，實現(xiàn)動態(tài)頻譜共享。本發(fā)明用于頻譜共享。

技術(shù)領(lǐng)域

本發(fā)明涉及一種動態(tài)頻譜接入方法，屬于認知無線電技術(shù)領(lǐng)域。

背景技術(shù)

現(xiàn)代通信技術(shù)迅速發(fā)展，適用于通信的電磁波頻段被陸續(xù)劃分給特定用戶，頻譜資源由于日益稀缺成為關(guān)鍵戰(zhàn)略資源。現(xiàn)行的固定頻譜分配策略是將固定頻段授權(quán)給相關(guān)用戶，將這些用戶稱為授權(quán)用戶，其對相應(yīng)頻段獨自占用，非授權(quán)用戶不得利用該頻譜資源進行通信。如果頻譜資源被空閑用戶長期占用將會導(dǎo)致頻譜浪費，因此引入了認知無線電技術(shù)。

認知無線電技術(shù)是一種基于感知和共享的頻譜高效利用方式。網(wǎng)絡(luò)區(qū)分主用戶和次級用戶。主用戶即為授權(quán)用戶，但與固定分配不同，認知無線電中次級用戶被允許共享空閑頻段，如何在不影響主用戶通信同時最大限度的利用空閑頻點成為頻譜共享關(guān)鍵。

目前頻譜共享使用的主要技術(shù)有傳統(tǒng)的基于著色理論、基于拍賣機制、基于動態(tài)規(guī)劃算法的分配方法。但這些方法沒有考慮頻譜資源的動態(tài)性以及不完全觀測性，應(yīng)用場景比較單一，面對復(fù)雜場景效果較差。

發(fā)明內(nèi)容

本發(fā)明目的是為了解決現(xiàn)有頻譜共享使用方法未考慮頻譜資源的動態(tài)性和不完全觀測性，應(yīng)用單一的問題，提供了一種基于雙向長短時記憶網(wǎng)絡(luò)的動態(tài)頻譜接入方法。

本發(fā)明所述基于雙向長短時記憶網(wǎng)絡(luò)的動態(tài)頻譜接入方法，該動態(tài)頻譜接入方法包括：

通信系統(tǒng)在正交頻分多址的情況下，每個信道固定分配給一個主用戶，主用戶依據(jù)自主接入策略傳輸信息，次級用戶在每個時隙依據(jù)歷史動作數(shù)據(jù)預(yù)測信道占用狀態(tài)，并選取其中一個未占用信道傳輸信息；

次級用戶傳輸信息的方法包括：

采用雙向長短時記憶網(wǎng)絡(luò)優(yōu)化DQN強化學(xué)習(xí)算法，形成DBRQN算法模型；

將歷史動作數(shù)據(jù)輸入DBRQN算法模型中，預(yù)測動態(tài)頻譜空洞；

次級用戶感知預(yù)測到的動態(tài)頻譜空洞，獲取最優(yōu)信道接入策略，然后動態(tài)接入空閑頻譜空洞，實現(xiàn)動態(tài)頻譜共享。

優(yōu)選的，DBRQN算法模型的訓(xùn)練方法包括：

S2-1、初始化多個主用戶的參數(shù)和信道占用情況；

S2-2、初始化次級用戶智能體的網(wǎng)絡(luò)權(quán)重參數(shù)，同時初始化經(jīng)驗回放池；

S2-3、次級用戶輸入歷史感知信道標號和歷史感知結(jié)果序列數(shù)據(jù)，以隨機的感知結(jié)果序列作為初始啟動數(shù)據(jù)，輸出值Q最大的最優(yōu)動作，同時輸出一個0至1的隨機數(shù)，當隨機數(shù)大于預(yù)先設(shè)置的閾值時選取輸出的值Q最大的最優(yōu)動作，當隨機數(shù)小于預(yù)先設(shè)置的閾值時采用隨機動作進行隨機探索；逐步減小閾值，使隨機探索的概率隨訓(xùn)練的進行逐步減小；

S2-4、將歷史動作數(shù)據(jù)輸入環(huán)境模擬器，從環(huán)境模擬器的反饋獲取獎賞，當環(huán)境模擬器中的歷史動作數(shù)據(jù)傳輸成功獲得正反饋，當當環(huán)境模擬器中的歷史動作數(shù)據(jù)傳輸未成功獲得負反饋；同時，環(huán)境模擬器自動生成下一個狀態(tài)；環(huán)境模擬器根據(jù)獲取的獎賞和下一個狀態(tài)合并生成下一個時隙的輸入向量；

S2-5、將動作、S2-4獲取的獎賞、下一個狀態(tài)和下一個狀態(tài)的動作組成元組，將該元組存入經(jīng)驗回放池；