[發明專利]一種基于注意力機制強化學習的邊緣網絡設備緩存方法

有效

• 申請號: 202110672219.6
• 申請日: 2021-06-17
• 公開（公告）號: CN113411826B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 王曉飛;賈博森;趙益尉;李銳斌;王晨陽
• 申請（專利權）人: 天津大學
• 主分類號: H04W24/06
• 分類號: H04W24/06;H04W28/14
• 代理公司: 濟南光啟專利代理事務所(普通合伙) 37292
• 代理人: 鄒文婷

本發明公開了一種基于注意力機制強化學習的邊緣網絡設備緩存方法，包括如下步驟：建立蜂窩網絡模型，蜂窩網絡模型包括用戶設備、邊緣網絡設備和核心網絡，每個邊緣網絡設備中均設有行動網絡模塊和評價網絡模塊；邊緣網絡設備接收所在區域內的用戶設備發出的請求；每個邊緣網絡設備獲取其它邊緣網絡設備的觀測值；每個邊緣網絡設備依據緩存替換策略和觀測值選取動作；邊緣網絡設備發送動作和更新后的狀態到鄰接邊緣網絡設備；根據動作更新后的觀測值和動作價值函數對行動網絡模塊和評價網絡模塊的參數進行更新；根據目標函數對緩存替換策略進行優化。本發明可以減少從云數據中心重復下載文件的次數，降低延遲，提升網絡服務質量與用戶體驗質量。

技術領域

本發明涉及邊緣緩存與深度強化學習技術領域，特別是涉及一種基于注意力機制強化學習的邊緣網絡設備緩存方法。

背景技術

隨著網絡技術的發展和需求的激增，數據、應用程序的速度和吞吐量正在導致流量的飛速增長，這項挑戰也促進了網絡架構和先進通信技術的緊迫革命。移動邊緣緩存(Mobile EdgeComputing，MEC)技術可以有效緩解移動網絡運營商的流量壓力，通過將內容存儲在接近用戶的基站或本地設備上，可以有效減少應用服務中的冗余數據傳輸延遲并提高服務質量。

在現實生活中，用戶所處的場景多種多樣。由于不同場景所提供的服務不同，因此各個基站緩存的內容存在很大差異。MEC技術可以有效地應對不同類型的邊緣節點通信的高容量需求，但是，將所有的內容都存儲在異構邊緣網絡中是不切實際的。因此，構建適當的邊緣緩存策略以充分利用網絡架構似乎是必然趨勢。傳統的高速緩存替換策略，例如最近最少使用算法(LRU)和先輸入先輸出算法(FIFO)，都是基于靜態規則，這類算法忽略了與整體的動態交互。隨著人工智能的實質性突破，越來越多的研究人員利用動態自適應方法來設計邊緣緩存方案，以期實現網絡系統的整體意識，因此將緩存算法部署到位于互聯網最末端的邊緣系統非常重要。

發明內容

針對傳統緩存替換策略未考量動態交互的技術問題，本發明提出一種基于注意力機制強化學習的邊緣網絡設備緩存方法，通過在行動者-評價者算法中引入注意力機制解決了多智能體邊緣緩存問題。

一種基于注意力機制強化學習的邊緣網絡設備緩存方法，包括以下步驟：

S1，建立蜂窩網絡模型，所述蜂窩網絡模型包括用戶設備、邊緣網絡設備和核心網絡，每個邊緣網絡設備中均設有行動網絡模塊和評價網絡模塊，所述行動網絡模塊用于觀察邊緣網絡設備的觀測值，并根據觀測值和緩存替換策略選取動作，所述評價網絡模塊利用注意力機制評估動作價值函數；

S2，邊緣網絡設備接收所在區域內的用戶設備發出的請求；

S3，每個邊緣網絡設備獲取其它邊緣網絡設備的觀測值；

S4，每個邊緣網絡設備依據緩存替換策略和觀測值選取動作；

S5，邊緣網絡設備發送動作和更新后的狀態到鄰接邊緣網絡設備；

S6，根據動作更新后的觀測值和動作價值函數對行動網絡模塊和評價網絡模塊的參數進行更新；

S7，根據目標函數對緩存替換策略進行優化。

在步驟S4中，所述緩存替換策略為其中，a_i表示第i個邊緣網絡設備的動作值，o_i表示第i個邊緣網絡設備的觀測值，θ_i表示第i個邊緣網絡設備的行動網絡模塊的參數。

在步驟S5中，所述動作是指緩存替換內容的編號，所述更新后的狀態是指采取步驟S4的動作后邊緣網絡設備的緩存列表。

所述根據動作更新后的觀測值和動作價值函數對行動網絡模塊和評價網絡模塊的參數進行更新，包括如下步驟：