[發明專利]一種非授權頻譜智能接入方法

有效

• 申請號: 202110578657.6
• 申請日: 2021-05-26
• 公開（公告）號: CN113316174B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 裴二榮;黃一格;宋珈銳;陶凱;徐成義
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04B17/309;H04B17/382
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種非授權頻譜智能接入方法，其特征在于：該方法包括以下步驟：

S1：初始化環境參數和智能體參數：環境由共存的WiFi接入點構成，故環境參數包括WiFi接入點的退避參數以及提出的接入框架的時間參數；具體而言，需要設置的退避參數包括初始窗口大小CW，WiFi接入點包長T_W和最大退避階數m，需要設置的時間參數包括β_E、β_SF和β_S，智能體參數主要包括接入策略更新要用到的訓練參數；

S2：初始化環境狀態s_t＝s₁和經驗回放機制RB：狀態s_t被定義為：

其中f_t為時刻t時共存網絡的公平性指數，f_t被定義為：

其中K表示共存網絡中WiFi接入點的數目，和分別表示時刻t∈(t-T_F,t]中第i個WiFi接入點和LTE小基站智能體的吞吐量，分別定義為：

式中，T_F表示反饋周期的長度，T_W和T_L分別表示WiFi接入點和LTE小基站在當前反饋周期傳輸的包長或幀長，故吞吐量含義為在反饋周期T_F中成功發送的包長或幀長所占據T_F的比例；故初始狀態基于當時共存網絡具體的吞吐量和公平性計算得到；此外，LTE小基站包含一個經驗回放機制RB，用于存儲過往的經驗以便樣本接入策略的提升；

S3：LTE小基站選擇動作：LTE小基站根據當前狀態選擇接入動作，而動作選擇的策略需要權衡對與環境的探索和已有知識的利用，ε-貪心策略能很好地滿足上述要求，其表達式定義為：

式中，ε∈[0,1]稱為控制參數，其大小表明了LTE小基站在動作選擇上的偏好；表示該等式表明以概率1-ε選擇令當前Q值最大的動作，或者以概率ε隨機從動作集合A中選擇動作；接入動作a_t定義為：

a_t＝[AT_t,TX_t]

式中，AT_t∈{0,T_SF,2T_SF,…,NT_SF}表示接入時刻，為LTE小基站基本傳輸單位子幀T_SF的整數倍；TX_t∈{T_SF,2T_SF,…,MT_SF}表示接入后的傳輸時長，為LTE小基站基本傳輸單位子幀T_SF的整數倍；智能體需要學習到一個控制策略，該策略可以知道智能體在當前狀態下何時接入以及接入后傳輸持續時間；

S4：LTE小基站執行動作：根據所提非授權頻譜接入框架，在后續β_E個執行周期中執行動作a_t，收到環境反饋的獎勵r_t并更新狀態至s_t+1；獎勵值r_t的定義為：

式中，共存網絡總吞吐量被定義為：

S5：將轉移樣本e_t＝(s_t,a_t,r_t,s_t+1)存儲到經驗回訪機制RB；

S6：接入策略更新：由于Q-網絡用于近似動作價值函數Q(s_t,a_t；θ)≈Q(s_t,a_t)，故LTE小基站接入策略的更新相當于Q-網絡權重θ的更新；具體而言，LTE小基站從RB中隨機抽取批量為H的樣本，對損失函數采用梯度下降法更新Q-網絡權重；對于每一個經驗樣本，該過程表達式為：

式中，y_j表示目標值，由目標Q-網絡Q′(·)參與計算得到，其定義為：

S7：訓練終止，輸出最優接入策略；此策略由Q-網絡表示：

該式表示由Q-網絡輸入為信道狀態s_t，則可以由輸出端得到最優接入動作