[發(fā)明專利]一種用于認(rèn)知無(wú)線電的多智能體協(xié)作頻譜感知與接入方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110602943.1
• 申請(qǐng)日: 2021-05-31
• 公開(kāi)（公告）號(hào): CN113905384A
• 公開(kāi)（公告）日: 2022-01-07
• 發(fā)明（設(shè)計(jì)）人: 高昂;杜程圓;梁微;常寶成
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): H04W16/14
• 分類號(hào): H04W16/14;H04B17/382
• 代理公司: 西安維賽恩專利代理事務(wù)所(普通合伙) 61257
• 代理人: 劉春

本發(fā)明公開(kāi)了一種用于認(rèn)知無(wú)線電的多智能體協(xié)作頻譜感知與接入方法，包括：步驟S101：獲取每一個(gè)SU_n在當(dāng)前時(shí)間幀開(kāi)始時(shí)的環(huán)境參數(shù)；步驟S102：將所述每一個(gè)SU_n在當(dāng)前時(shí)間幀開(kāi)始時(shí)的所述環(huán)境參數(shù)輸入確定性策略深度梯度MADDPG模型；步驟S103：獲取所述MADDPG模型輸出的每一個(gè)SU_n在當(dāng)前時(shí)間幀的感知策略，其中所述感知策略是選擇某一個(gè)信道檢測(cè)是否空閑；步驟S104：將SUn的感知結(jié)果及其合作伙伴的感知結(jié)果融合成全局狀態(tài)S(t)，再把全局狀態(tài)S(t)與全局動(dòng)作A(t)、獎(jiǎng)勵(lì)r(t)和下一時(shí)刻狀態(tài)S(t+1)送到確定性策略深度梯度MADDPG模型的經(jīng)驗(yàn)重放緩沖區(qū)；將所述全局狀態(tài)S(t)作為下一時(shí)刻的觀測(cè)，如此循環(huán)往復(fù)，直到訓(xùn)練步數(shù)結(jié)束。解決了SU如何快速找到空閑信道的同時(shí)避免與其他用戶碰撞的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明屬于物聯(lián)網(wǎng)通信技術(shù)領(lǐng)域，具體涉及一種用于認(rèn)知無(wú)線電的多智能體協(xié)作頻譜感知與接入方法。

背景技術(shù)

隨著無(wú)線通信技術(shù)的發(fā)展和無(wú)線多媒體應(yīng)用的增加，無(wú)線頻譜成為越來(lái)越緊張的資源，研究表明，現(xiàn)有的頻譜管理與分配策略是造成頻譜資源緊缺的主要原因之一。認(rèn)知無(wú)線電的出現(xiàn)，為緩解頻譜資源不足、實(shí)現(xiàn)頻譜動(dòng)態(tài)管理及提高頻譜利用率開(kāi)創(chuàng)了嶄新的局面。

認(rèn)知無(wú)線電，廣義來(lái)說(shuō)是指無(wú)線電終端具備足夠的智能和認(rèn)知能力，通過(guò)對(duì)周圍無(wú)線環(huán)境的歷史和當(dāng)前狀況進(jìn)行檢測(cè)、分析、學(xué)習(xí)、推理和規(guī)劃，利用相應(yīng)的結(jié)果，選擇合適的頻段進(jìn)行傳輸。

認(rèn)知無(wú)線電由兩種用戶組成，一種是主要用戶(Primary Users):隨時(shí)占用任意頻帶傳輸信息；另一種是次要用戶(Secondary Users):感知頻譜“空洞”，在主要用戶不占用該頻段時(shí)，使用該頻段進(jìn)行傳輸。認(rèn)知無(wú)線電網(wǎng)絡(luò)通過(guò)識(shí)別和探索授權(quán)主用戶的頻譜空洞，可以大大提高臨時(shí)和空間頻譜利用率。然而，由于主信道的占用是動(dòng)態(tài)變化的，快速和準(zhǔn)確的頻譜感知是至關(guān)重要的。

多智能體系統(tǒng)是一種全新的分布式計(jì)算技術(shù)。在多智能體系統(tǒng)中，每個(gè)智能體通過(guò)與環(huán)境進(jìn)行交互獲取獎(jiǎng)勵(lì)值(reward)來(lái)學(xué)習(xí)改善自己的策略，從而獲得該環(huán)境下最優(yōu)策略的過(guò)程就多智能體強(qiáng)化學(xué)習(xí)。在單智能體強(qiáng)化學(xué)習(xí)中，智能體所在的環(huán)境是穩(wěn)定不變的，但是在多智能體強(qiáng)化學(xué)習(xí)中，環(huán)境是復(fù)雜的、動(dòng)態(tài)的。

在多智能體系統(tǒng)中，至少存在兩個(gè)以上的智能體，智能體之間存在一定的關(guān)系，如合作關(guān)系、競(jìng)爭(zhēng)關(guān)系或者同時(shí)存在合作與競(jìng)爭(zhēng)關(guān)系。本發(fā)明實(shí)例中智能體之間既相互合作，共享感知結(jié)果，又相互競(jìng)爭(zhēng)，即競(jìng)爭(zhēng)頻譜資源，存在接入碰撞問(wèn)題。在多智能體系統(tǒng)中，每個(gè)智能體獲得的回報(bào)不僅與自身動(dòng)作有關(guān)，還與其他智能體的動(dòng)作有關(guān)系，即智能體之間相互影響。

一般情況下，當(dāng)一個(gè)智能體，即次要用戶SU有呼入需求時(shí)，它會(huì)按順序掃描所有信道，直至檢測(cè)到一個(gè)空閑信道或者失敗，這種信道感知和接入方法會(huì)造成一定的傳輸延遲和頻譜利用率低等問(wèn)題。由于衰落和陰影效應(yīng)等的影響，每個(gè) SU在一個(gè)時(shí)隙只能檢測(cè)一個(gè)信道，當(dāng)通信網(wǎng)絡(luò)中信道數(shù)目多于SU數(shù)目時(shí)，此種檢測(cè)方式效率較低，同時(shí)極大地降低頻譜利用率。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種用于認(rèn)知無(wú)線電的多智能體協(xié)作頻譜感知與接入方法，以解決SU如何快速找到空閑信道的同時(shí)避免與其他用戶碰撞的問(wèn)題。

本發(fā)明采用以下技術(shù)方案：一種用于認(rèn)知無(wú)線電的多智能體協(xié)作頻譜感知與接入方法，基于一認(rèn)知無(wú)線電網(wǎng)絡(luò)，所述認(rèn)知無(wú)線電網(wǎng)絡(luò)中有M個(gè)主要用戶 PU、N個(gè)次要用戶SU，N_fb個(gè)正交信道，PU的發(fā)射功率固定為P，信道噪聲為加性高斯白噪聲；

所述感知與接入方法包括：

步驟S101：獲取所述N個(gè)SU中每一個(gè)SU_n在當(dāng)前時(shí)間幀開(kāi)始時(shí)的環(huán)境參數(shù)，其中所述n＝1，2，…，N，所述環(huán)境參數(shù)包括所述每一個(gè)SU_n的觀測(cè)S_n；