[發明專利]基于強化學習解決認知無線電中的功率分配算法

有效

• 申請號: 202011161787.1
• 申請日: 2020-10-27
• 公開（公告）號: CN112367132B
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 梁微;溫書慧;楊思遠;王大偉;高昂;李立欣
• 申請（專利權）人: 西北工業大學
• 主分類號: H04B17/382
• 分類號: H04B17/382;H04W52/34
• 代理公司: 西安維賽恩專利代理事務所(普通合伙) 61257
• 代理人: 劉春

本發明公開了一種基于強化學習解決認知無線電中的功率分配算法，S1、設置深度學習算法的初始值參數，S2、設置關于CR?NOMA系統的場景模型，并設置關于狀態和動作的初始狀態集合；S3、當某一計算時刻t小于等于最大限制的時間值T_max時，求得時刻t下的狀態值并計算相對應的獎勵函數，并計算TD誤差δ_t；S4、基于值函數選擇用戶的下一步動作，利用學習率以及TD誤差值函數，將初始值函數更新為Q(s_t,a_t)←Q(s_t,a_t)+η_cδ_t；再根據已選擇的執行動作獲得相應的獎勵，并獲得策略函數π(g)，然后將其更新為π(s_t,a_t)←π(s_t,a_t)?η_aδ_t；π(g)；S5、根據步驟S3使TD誤差值達到最小，不停的迭代更新，最后獲得最大的獎勵函數值，即分配算法結束。解決了現有技術中信道信息不完全的前提下不能很好的進行功率分配的問題。

技術領域

本發明屬于通信技術領域，特別涉及一種功率分配策略，可用于解決覆蓋式(underlay)認知無線電網絡中的功率分配問題。

背景技術

覆蓋式認知無線電網絡能夠解決頻譜稀缺問題，即在由認知用戶造成的干擾不能降低主用戶的服務質量的約束下，認知用戶能夠使用相同的頻譜與主用戶同時傳輸。另一方面，非正交多址接入技術(Non-orthogonal Multiple Access,NOMA)作為提高未來無線網絡的頻譜效率的一種具有潛力的技術挑戰，從根本上改變了常規的接入技術的設計。功率域的非正交多址接入技術(Power-domain NOMA)作為NOMA技術中最受歡迎的技術之一，它的核心思想是探索多址接入(MA)中的功率域差異，同時在時間、頻率等其他域實現非正交性。更具體地說，在下行鏈路NOMA發明中，通過不同的功率分配系數，基站能夠在相同的時間、頻率信道中為多個用戶服務，其中信道條件較差的用戶被賦予更多的發射功率。因此，NOMA鼓勵用戶共享可用頻譜，其中MA干擾可通過使用先進的收發器設計來去除，比如連續干擾消除和超級位置編碼。在這一趨勢下，通過融合NOMA和覆蓋式認知無線電網絡(underlay cognitive radio,underlay CR)的概念，提出了一種新的系統解決發明，即覆蓋式CR-NOMA，該新系統可顯著提高網絡的頻譜利用率。

近期，強化學習算法在許多領域中得到了廣泛的應用。具體地說，每一個主體通過自身的學習以及環境的學習來改變自己的行為，同時，只獲得一種獎勵并反饋給自己的行為。現如今，研究者們在無線通信中實現了強化學習(Reinforcement Learning,RL)技術的應用。因此，本發明中通過使用RL方法進行信道選擇，目的是為了減少系統所需的感應量，進而提高吞吐量和能量效率。迄今為止，基于RL發明的解決認知無線電系統中資源分配的研究是十分有限的，特別是在覆蓋式CR-NOMA中，并沒有過相關研究。

發明內容

本發明的目的是提供一種基于強化學習解決認知無線電中的功率分配算法，以解決現有技術中信道信息不完全的前提下不能很好的進行功率分配的問題。

本發明采用以下技術發明：基于強化學習解決認知無線電中的功率分配算法，

功率分配方法基于覆蓋式CR-NOMA系統，覆蓋式CR-NOMA系統包括主用戶發射機-接收機對以及認知網絡；認知網絡中的認知發送器包括認知基站和K個認知用戶，認知用戶的索引包含在集合K中；覆蓋式CR-NOMA系統中，多個認知用戶利用NOMA技術接入同一主要用戶頻譜資源上；CR-NOMA系統中的，多個認知用戶將利用NOMA技術接入同一主要用戶頻譜資源上。即認知用戶們形成NOMA群組，其中需要考慮形成群組后各認知用戶的功率分配機制。

功率分配方法按照以下步驟實施：

S1、設置深度學習算法的初始值參數，包括：