[發明專利]一種霧無線接入網中基于聯邦強化學習的協作緩存方法

有效

• 申請號: 202110634682.1
• 申請日: 2021-06-08
• 公開（公告）號: CN113382059B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 蔣雁翔;張敏
• 申請（專利權）人: 東南大學
• 主分類號: H04L67/568
• 分類號: H04L67/568;H04L67/5682;H04W28/14;H04L41/142;G06N20/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 孫建朋

1.一種霧無線接入網中基于聯邦強化學習的協作緩存方法，其特征在于，包括以下步驟：

步驟1、根據全局內容流行度P_f(0)，初始化緩存節點的本地緩存內容狀態s(0)，總的模型訓練周期T和訓練模型的權重參數θ；

步驟2、在第t個時隙，緩存節點n的狀態空間s(t)＝[i₁,i₂,...,i_c,...,i_C],其中，i_c表示內容c在緩存節點n中的緩存索引，F表示內容庫C 中內容的總個數；緩存節點n的動作空間a(t)∈{0,1}，其中，a(t)＝1表示在第t個時隙緩存節點中的內容需要被替換，a(t)＝0表示在第t個時隙緩存節點中的內容不需要被替換；

步驟3、緩存節點各自計算周期內的內容流行度p_nf(t)，收集用戶的內容請求信息，并基于本地內容緩存狀態，做出應答決策；

步驟4、基于步驟3緩存節點做出的應答決策，和周期內的內容流行度p_nf(t)，計算出緩存命中率h_n(t)和用戶的內容請求延遲D_F-U(t)，D_F-F-U(t)和D_C-F-U(t)，D_F-U(t)表示用戶直接從本地緩存節點獲取的它的請求內容所產生的請求延遲，D_F-F-U(t)表示用戶需要從鄰近的緩存節點獲取它的請求內容所產生的請求延遲，D_C-F-U(t)表示用戶需要從云端服務器獲取它的請求內容所產生的請求延遲；

步驟5、緩存節點更新本地緩存內容狀態s(t)和訓練模型參數θ，進入下一個時隙；

步驟6、一個訓練周期結束后，對各個緩存節點的模型權重參數θ進行聯合更新，進入下一個周期。

2.根據權利要求1所述的霧無線接入網中基于聯邦強化學習的協作緩存方法，其特征在于，所述步驟2具體包括以下步驟：

步驟2.1、緩存節點n的狀態空間s(t)是已經緩存內容的索引集，根據內容請求頻率，狀態空間中的內容索引被降序排列，可以減小低頻率的內容索引出現在狀態空間中的概率；

步驟2.2、內容庫C中沒有緩存在節點n中的內容組成一個集合

若a(t)＝1，將隨機從集合中選取k個內容，替換掉在節點緩存中最后的k個內容；

若a(t)＝0，緩存節點n不需要進行緩存替代操作；

步驟2.3、在步驟2.2中的緩存替代操作之后，對緩存節點n中的內容索引進行降序更新，得到一個新的狀態空間s(t+1)。

3.根據權利要求2所述的霧無線接入網中基于聯邦強化學習的協作緩存方法，其特征在于，所述步驟3具體包括以下步驟：

步驟3.1、用戶發出請求內容f，若內容f緩存在本地節點中，那么本地節點直接將內容f發送給用戶，產生的內容請求延遲為d_n1，d_n1表示將內容從本地節點發送給用戶所需要的時間；

步驟3.2、若本地節點沒有緩存內容f，而鄰近的緩存節點存儲了內容f，那么用戶將從鄰近的緩存節點中去得到它的請求內容f，產生的內容請求延遲為d_n1+d_n2，d_n2表示兩個相鄰的節點之間傳輸內容所需要的時間；

步驟3.3、若本地節點和鄰近的緩存節點都沒有存儲內容f，那么用戶將從云端服務器去得到請求內容f，產生的內容請求延遲為d_n1+d_n3，d_n3表示從云端將內容發送到緩存節點需要的傳輸時間。