[發明專利]動態頻譜環境中基于多智能體強化學習的頻率功率聯合分配方法

有效

• 申請號: 201210006680.9
• 申請日: 2012-01-11
• 公開（公告）號: CN102448070A
• 公開（公告）日: 2012-05-09
• 發明（設計）人: 王金龍;吳啟暉;劉鑫;鄭學強
• 申請（專利權）人: 中國人民解放軍理工大學
• 主分類號: H04W16/14
• 分類號: H04W16/14;H04W72/04
• 代理公司: 南京天華專利代理有限責任公司 32218
• 代理人: 夏平

技術領域

本發明涉及無線通信技術中的認知無線電領域，具體講是基于多智能體強化學習實現在動態頻譜環境中頻率功率聯合分配的新方法。

背景技術

目前，隨著無線通信業務種類的快速增長，對無線頻譜資源的需求也呈指數增長，使得未來無線通信中的頻譜資源“匱乏”問題日益突出。認知無線電技術在保證主用戶服務質量的條件下以“伺機接入”的方式利用授權用戶的空閑頻段，大大提高了頻譜的使用效率，是解決“頻譜匱乏”問題的有效方法。認知網絡中(cognitive?radio?networks簡稱CRN)的頻率功率聯合分配技術通過合理的分配各認知用戶或次級用戶(secondary?user，簡稱SU)所使用的頻率和功率，盡可能的減少SU之間的干擾，提升認知無線網絡的吞吐量。因此，頻率功率聯合分配技術是保證認知無線網絡傳輸效率的前提和基礎。

頻率功率聯合分配是實現認知網絡共享CRN頻譜資源的主要方法之一。通過合理配置SU的接入信道以及發射功率，實現在不干擾主用戶(primary?user，簡稱PU)的前提下，優化認知網絡的吞吐量性能。然而與非認知系統的資源分配不同，由于PU占用狀態的動態變化，認知用戶的可用頻譜資源同樣是動態的，因此SU必須根據PU狀態實時的調整策略。此時給聯合分配方法的設計帶來許多新的挑戰。

強化學習(reinforcement?learning，簡稱RL)采用對外界環境和自身決策不斷探測的方式，獲取在動態環境中，能最優化長遠收益的決策。通過采用RL學習方法，單個SU能夠適應頻譜資源的動態性，實現最大化長遠收益的頻率功率聯合決策。然而在多個SU并存時，由于各SU的頻率功率聯和決策互相影響，互相制約，且處于動態變化之中，因此RL學習方法的性能將大打折扣，甚至無法收斂。

多智能體強化學習方法(multi-agent?reinforcement?learning，簡稱MARL)考慮了在多個學習者共存時，對環境的動態變化和其它學習者策略動態變化的學習問題。其主要思想是將RL學習方法中的單個用戶決策學習擴展至多個用戶的聯合決策學習，因此能有效地解決單個用戶決策學習的低效性和不穩定性。近年來MARL方法在無線資源分配領域得到了廣泛應用。

發明內容

本發明的目的是針對PU占用信道狀態動態變化時，多個SU共存的CRN網絡中的頻率功率聯和分配問題，提出一種動態頻譜環境中基于多智能體強化學習的頻率功率聯合分配方法。

本發明的技術方案是：

一種動態頻譜環境中基于多智能體強化學習的頻率功率聯合分配方法，實現動態頻譜環境中頻率功率聯和分配的時隙結構包括三個時隙：感知決策時隙、傳輸時隙和確認時隙；感知決策時隙實現主用戶狀態的感知，并獲取傳輸時隙的頻率功率聯和決策；傳輸時隙實現信息傳輸，并且在接收端估計鏈路增益，計算當前回報值和度量所受干擾大小；確認時隙用于接收ACK信號、鏈路增益、當前回報值和所受干擾大小的反饋信息，并且更新多智能體強化學習過程中所需要的行為回報函數，歷史干擾表，以及對其他認知鏈路頻率策略的估計值。

一種動態頻譜環境中基于多智能體強化學習的頻率功率聯合分配方法，包括下列步驟：

步驟1.參數初始化，完成以下工作

1.1網絡中每個認知鏈路i，i∈{1，...，N}初始化其行為回報函數即Q函數

Q_i，0(x，f^w)＝0，x∈X，fⁱ∈Fⁱ

其中x表示狀態變量，而X表示所有狀態集合，fⁱ表示與認知鏈路i以及與其存在干擾關系的所有認知鏈路的聯合頻率決策，而Fⁱ則表示聯和頻率選擇fⁱ所有可能組合的聯合頻率決策集合；

1.2初始化認知鏈路的歷史干擾大小即I值表

I_i，0(x，fⁱ)＝N₀，x∈X，fⁱ∈Fⁱ

其中N₀表示表示噪聲功率；

1.3初始化其他認知鏈路頻率策略的估計值