[發明專利]基于強化學習解決認知無線電中的功率分配算法

有效

• 申請號: 202011161787.1
• 申請日: 2020-10-27
• 公開（公告）號: CN112367132B
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 梁微;溫書慧;楊思遠;王大偉;高昂;李立欣
• 申請（專利權）人: 西北工業大學
• 主分類號: H04B17/382
• 分類號: H04B17/382;H04W52/34
• 代理公司: 西安維賽恩專利代理事務所(普通合伙) 61257
• 代理人: 劉春

1.基于強化學習解決認知無線電中的功率分配算法，其特征在于，

所述功率分配方法基于覆蓋式CR-NOMA系統，所述覆蓋式CR-NOMA系統包括主用戶發射機-接收機對以及認知網絡；所述認知網絡中的認知發送器包括認知基站和K個認知用戶，所述認知用戶的索引包含在集合K中；所述覆蓋式CR-NOMA系統中，多個認知用戶利用NOMA技術接入同一主要用戶頻譜資源上；

所述功率分配方法按照以下步驟實施：

S1、設置深度學習算法的初始值參數，包括：

設置動作空間集合的學習率η_a，設置評論空間集合的學習率η_c，設置覆蓋式CR-NOMA系統的折扣因子β，設置初始值函數Q(.)，則Q(s_ini,α_ini)＝0，設置狀態空間集合S＝{s₁(t),s₂(t),...,s_K(t)}，設置算法的動作空間A_t＝{α₁(t),α₂(t),…,α_K(t)},設置輸入狀態s_i；

其中，s_int是初始狀態下狀態空間集合內的元素，α_int是初始狀態下動作空間集合內的元素，s_K(t)是狀態空間集合內的元素；α_K(t)是動作空間集合內的元素，t表示某一時刻，i∈[1,K]；

S2、設置關于CR-NOMA系統的場景模型，在該場景模型下，設置初始狀態集合為移動用戶的信道特征集合，設置動作的初始狀態集合為移動用戶的功率分配參數；

S3、當某一計算時刻t小于等于最大限制的時間值T_max時，求得時刻t下的狀態值并計算相對應的獎勵函數，獎勵函數是由認知系統的頻譜效率來決定，即并計算深度學習算法中的TD誤差δ_t；

其中，R_t為t時刻的獎勵函數，SE為頻譜有效率，CU為認知用戶，k為認知用戶的索引，TD誤差為時差誤差；

S4、基于值函數選擇算法的下一步動作，即選擇認知網絡中移動用戶的功率參數值，利用學習率以及TD誤差值函數，將初始值函數更新為Q(s_t,a_t)←Q(s_t,a_t)+η_cδ_t；再根據已選擇的執行動作獲得相應的獎勵，并獲得策略函數π(.)，然后將其更新為π(s_t,a_t)←π(s_t,a_t)-η_aδ_t；

其中，s_t是t時刻狀態空間集合內的元素；α_t是t時刻動作空間集合內的元素；

S5、根據步驟S3使TD誤差值達到最小，不停的迭代更新，最后獲得最大的獎勵函數值，即在滿足最大化CR-NOMA系統頻譜效率值的前提下，求得NOMA認知用戶組的最優功率分配系數值。

2.如權利要求1所述的基于強化學習解決認知無線電中的功率分配算法，其特征在于，所述步驟S3中，獎勵函數為CR-NOMA系統的頻譜效率值根據誤差函數δ_t＝R_t+1+βQ(s_t+1,a_t+1)-Q(s_t,a_t)來計算TD誤差，在誤差迭代達到最小值時，找到NOMA認知用戶組中，認知用戶的功率最優分配值；其中算法中的折扣因子β的取值范圍為0到1。