[發明專利]一種霧無線接入網中基于聯邦強化學習的協作緩存方法

有效

• 申請號: 202110634682.1
• 申請日: 2021-06-08
• 公開（公告）號: CN113382059B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 蔣雁翔;張敏
• 申請（專利權）人: 東南大學
• 主分類號: H04L67/568
• 分類號: H04L67/568;H04L67/5682;H04W28/14;H04L41/142;G06N20/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 孫建朋

本發明公開了一種霧無線接入網中基于聯邦強化學習的協作緩存方法，包括：1、根據全局內容流行度來初始化緩存節點的本地緩存內容，初始化總的模型訓練周期和模型權重參數；2、每一個緩存節點把自身的緩存內容狀態信息給鄰近的緩存節點和云端服務器；3、根據時隙內接收到的用戶請求信息，緩存節點會在本地緩存，臨近節點緩存和云端服務器之間做出決策應答用戶請求；4、計算緩存命中率和用戶的內容請求延遲；5、緩存節點根據本地內容緩存狀態和用戶的內容請求信息，更新本地緩存內容和訓練模型參數。6、訓練一個周期之后，對各個緩存節點的訓練模型權重參數進行聯合更新。本發明提高緩存命中率和降低用戶請求延遲，更好的保護用戶隱私。

技術領域

本發明屬于移動通信系統中邊緣網絡的協作緩存領域，尤其涉及一種霧無線接入網中基于聯邦強化學習的協作緩存方法。

背景技術

隨著5G時代的到來，移動設備和應用數量迅速增加，產生的海量數據給無線蜂窩網絡帶來了巨大的流量壓力。霧無線接入網是解決蜂窩網絡通信鏈路擁塞問題的一種很有前景的方法。在霧無線接入網中，邊緣緩存將流行的內容放在離用戶更近的霧無線接入點中，也稱為緩存節點。緩存節點的引入可以有效降低回程鏈路的負載壓力和內容傳輸延遲。由于緩存節點的通信資源和本地存儲容量有限，如何緩存最流行的內容是目前邊緣緩存研究的重要方向。

近年來，強化學習已成為優化霧無線接入網中內容協作緩存的重要工具。但是，大多數強化學習方法都是直接使用用戶數據對模型進行訓練，同時，這些方法將學習代理部署在單個用戶或單個緩存節點中。低相關性的學習代理的單獨訓練，可能會破壞用戶的敏感數據，特別是在一些商業和工業場景中。同時，學習代理的單獨訓練也會導致資源的加性浪費。如果能夠對獲取到的網絡信息充分利用，能預測用戶下一時刻的可能請求內容，使得緩存節點能夠始終緩存熱點內容，提高緩存命中率和降低用戶請求延遲。同時，對節點之間的緩存進行協作，減小緩存資源的加性浪費，用模型參數的傳輸代替用戶數據的傳輸，可以更好的保護用戶隱私。

發明內容

本發明目的在于提供一種霧無線接入網中基于聯邦強化學習的協作緩存方法,以解決內容緩存命中率低，用戶內容請求延遲高，資源加性浪費高，不能很好保護用戶隱私的技術問題。

為解決上述技術問題，本發明的具體技術方案如下：

一種霧無線接入網中基于聯邦強化學習的協作緩存方法，包括以下步驟：

步驟1、根據全局內容流行度P_f(0)，初始化緩存節點的本地緩存內容狀態s(0)，總的模型訓練周期T和訓練模型的權重參數θ；

步驟2、在第t個時隙，緩存節點n的狀態空間s(t)＝[i₁,i₂,...,i_c,...,i_C],其中，i_c表示內容c在緩存節點n中的緩存索引，F表示內容庫中內容的總個數；緩存節點n的動作空間a(t)∈{0,1}，其中，a(t)＝1表示在第t個時隙緩存節點中的內容需要被替換，a(t)＝0表示在第t個時隙緩存節點中的內容不需要被替換；

步驟3、緩存節點各自計算周期內的內容流行度p_nf(t)，收集用戶的內容請求信息，并基于本地內容緩存狀態，做出應答決策；

步驟4、基于步驟3緩存節點做出的應答決策，和周期內的內容流行度p_nf(t)，計算出緩存命中率h_n(t)和用戶的內容請求延遲D_F-U(t)，D_F-F-U(t)和D_C-F-U(t)，D_F-U(t)表示用戶直接從本地緩存節點獲取的它的請求內容所產生的請求延遲，D_F-F-U(t)表示用戶需要從鄰近的緩存節點獲取它的請求內容所產生的請求延遲，D_C-F-U(t)表示用戶需要從云端服務器獲取它的請求內容所產生的請求延遲；