[發(fā)明專(zhuān)利]基于高效樣本學(xué)習(xí)的動(dòng)態(tài)頻譜接入方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010052242.0
• 申請(qǐng)日: 2020-01-17
• 公開(kāi)（公告）號(hào): CN111262638B
• 公開(kāi)（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 郎文輝;從前宏;唐亞玲;楊學(xué)志
• 申請(qǐng)（專(zhuān)利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類(lèi)號(hào): H04B17/382
• 分類(lèi)號(hào): H04B17/382
• 代理公司: 安徽匯樸律師事務(wù)所 34116
• 代理人: 劉海涵

1.一種基于高效樣本學(xué)習(xí)的動(dòng)態(tài)頻譜接入方法，其特征在于，該方法包括以下步驟：

步驟1、制定規(guī)則

將認(rèn)知無(wú)線(xiàn)電通信的授權(quán)信道分為N個(gè)互不重疊的信道，N個(gè)授權(quán)信道中主用戶(hù)可隨時(shí)使用N個(gè)信道中的任意多個(gè)信道而不受次級(jí)用戶(hù)影響，次級(jí)用戶(hù)動(dòng)態(tài)地選擇N個(gè)授權(quán)信道中的一個(gè)信道進(jìn)行數(shù)據(jù)傳輸，每個(gè)授權(quán)信道被主用戶(hù)占用時(shí)為忙碌狀態(tài)，否則為空閑狀態(tài)，次級(jí)用戶(hù)選擇的授權(quán)信道僅當(dāng)其為空閑狀態(tài)時(shí)數(shù)據(jù)才能傳輸成功；

步驟2、建立值函數(shù)Q

對(duì)N個(gè)授權(quán)信道進(jìn)行編號(hào)，j為授權(quán)信道序號(hào)，j∈{1,2,3…,N}，將主用戶(hù)使用授權(quán)信道的情況定義為狀態(tài)，共計(jì)2^N種狀態(tài)，對(duì)2^N種狀態(tài)進(jìn)行排序，序號(hào)為i的狀態(tài)為s_i，i∈{1,2,3,…,2^N}，狀態(tài)空間為

令s_ij為狀態(tài)s_i中序號(hào)為j的授權(quán)信道的狀態(tài)，s_i＝[s_i1,…,s_ij,...,s_iN]，且s_ij∈{0,1}，s_ij＝0表示對(duì)應(yīng)的授權(quán)信道處于空閑狀態(tài)，s_ij＝1表示對(duì)應(yīng)的授權(quán)信道處于忙碌狀態(tài)；

將次級(jí)用戶(hù)選擇序號(hào)為j的授權(quán)信道進(jìn)行數(shù)據(jù)傳輸?shù)那闆r定義為動(dòng)作a_j，其中：j∈{1,2,3,...,N}，則動(dòng)作空間A＝{a₁,a₂,…,a_j,...,a_N}；

令Q(s_i,a_j)＝q_ij，表示所處狀態(tài)為s_i，采取動(dòng)作為a_j時(shí)，值函數(shù)Q的大小為q_ij，值函數(shù)Q以如下的形式存儲(chǔ)：

步驟3、建立映射關(guān)系

令當(dāng)前時(shí)刻狀態(tài)為s_t時(shí)可令對(duì)應(yīng)值函數(shù)Q取得最大值的授權(quán)信道選擇操作定義為對(duì)應(yīng)的策略π_t，即π(s_t)＝π_t，且π_t∈{1,2,...,N}，次級(jí)用戶(hù)感知s_t后根據(jù)策略π_t獲得下一時(shí)刻狀態(tài)s_t+1的應(yīng)執(zhí)行動(dòng)作在進(jìn)入下一時(shí)刻后執(zhí)行；

建立策略空間

步驟4、建立獎(jiǎng)勵(lì)機(jī)制

若次級(jí)用戶(hù)執(zhí)行應(yīng)執(zhí)行動(dòng)作后數(shù)據(jù)傳輸成功，則獲得+1獎(jiǎng)勵(lì)，否則獲得-1獎(jiǎng)勵(lì)，且獎(jiǎng)勵(lì)結(jié)果在進(jìn)入下一時(shí)刻后得出；

即獎(jiǎng)勵(lì)

其中代表t+1時(shí)刻狀態(tài)s_t+1中第π_t個(gè)信道的狀態(tài)；

令可令次級(jí)用戶(hù)獲得最大獎(jiǎng)勵(lì)的應(yīng)執(zhí)行動(dòng)作為期望動(dòng)作c_t；

即：

步驟5、建立更新機(jī)制

步驟5.1、令值函數(shù)Q的更新公式為：

0≤α1表示學(xué)習(xí)速率，學(xué)習(xí)速率越接近1，獎(jiǎng)勵(lì)變化越快速，0≤γ≤1表示折扣因子，代表了未來(lái)回報(bào)對(duì)當(dāng)前回報(bào)的重要性；

步驟5.2、當(dāng)執(zhí)行完應(yīng)執(zhí)行動(dòng)作后，以ε的概率采用公式(5)更新以1-ε的概率采用公式(5)更新Q_t(s_t,c_t)；

ε大于0小于1，ε越小，Q_t(s_t,c_t)被更新的概率就越大；

步驟5.3、當(dāng)更新完值函數(shù)Q后更新策略；

令策略更新機(jī)制為

步驟6、動(dòng)態(tài)頻譜接入

步驟6.1、初始時(shí)刻，執(zhí)行動(dòng)作a₀；

步驟6.2、感知初始時(shí)刻狀態(tài)s₀，根據(jù)策略π₀，確定下一時(shí)刻t的應(yīng)執(zhí)行動(dòng)作

步驟6.3、進(jìn)入t時(shí)刻，執(zhí)行本時(shí)刻應(yīng)執(zhí)行動(dòng)作，然后判斷t+1時(shí)刻次級(jí)用戶(hù)是否仍進(jìn)行數(shù)據(jù)傳輸，若是則進(jìn)入步驟6.4，否則結(jié)束；

步驟6.4、感知t時(shí)刻狀態(tài)s_t，計(jì)算對(duì)應(yīng)獎(jiǎng)勵(lì)和期望動(dòng)作，并更新值函數(shù)Q_t，然后更新策略π_t，根據(jù)更新后的策略，確認(rèn)t+1時(shí)刻的應(yīng)執(zhí)行動(dòng)作返回步驟6.3。