[發明專利]一種基于深度強化學習的計算資源協同合作方法

有效

• 申請號: 202010107300.5
• 申請日: 2020-02-21
• 公開（公告）號: CN111367657B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 陳沛銳;于秀蘭
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;H04L67/1008;G06N3/04
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 楊柳岸

本發明涉及一種基于深度強化學習的計算資源協同合作方法，屬于邊緣計算資源分配領域。該方法為：部署邊緣服務器成蜂窩狀于5G密集的區域；視每個邊緣服務器為一個智能體，將記錄一段時刻的計算資源狀態和對應的動作一個樣本；在每一個時刻t中從experience replay隨機選擇狀態樣本獲得經驗元組，然后將每一次的經驗元組存放入experience replay中積攢經驗；對Q值同時得到新的經驗元組，進行經驗元組的填充；對Q值迭代，帶入target?net和eval?net兩個網絡進行訓練，得到最優近似解的協作決策。本發明打破了狀態樣本之間的關聯，使樣本相互獨立，提高了計算資源協同合作時的利用率。

技術領域

本發明屬于邊緣計算資源分配領域，涉及一種基于深度強化學習的計算資源協同合作方法。

背景技術

目前，物聯網(IoT)是由互聯網技術擴展而來，通過無線網絡將無處不在的移動設備(MDs)與傳感器連接起來。物聯網已廣泛應用于許多領域，移動互聯網應用中的數據量呈指數級增長。為了提高效率，追求低延遲已經成為一種趨勢。但是，數據從終端設備上傳至云端，計算后再傳回終端設備。這種傳統的云計算技術已經不能滿足人們對計算效率的高要求。

5G可以連接無數智能設備，實現數據共享和交互。此外，5G可以提供物聯網的基本思路，擴大物聯網的覆蓋范圍，數十億個MDs接入互聯網。對數據服務的需求激增，正對服務供應商和移動網絡運營商構成新的挑戰。5G中的許多應用，如人臉識別、自然語言處理等，都可以在終端中操作。因此，為了開發計算量卸載，我們需要對計算量卸載和相關的無線電資源分配進行聯合管理，這實際上已經引起了很多研究者的關注。它來得正是時候。邊緣計算(Edge Computing,EC)能夠使移動終端主動地將計算任務轉移到附近的邊緣服務器，從而邊緣人工智能協同合作也應允而生，為解決日益增長的大規模集群計算需求和實現高效的計算協同轉移與合作提供了一種有效的方法。

發明內容

有鑒于此，本發明的目的在于提供一種基于深度強化學習的計算資源協同合作方法。

為達到上述目的，本發明提供如下技術方案：

一種基于深度強化學習的計算資源協同合作方法，該方法包括以下步驟：

步驟一：為無縫鏈接，將邊緣服務器形成蜂窩狀部署于5G網絡密集的區域；

步驟二：視每個邊緣服務器為一個智能體，將記錄一段時刻的計算資源狀態和對應的動作作為樣本放入experience replay中；

步驟三：為增加樣本的的獨立性，在每一個時刻t中從experience replay隨機選擇狀態樣本獲得經驗元組，然后將每一次的經驗元組存放入experience replay中積攢經驗并存儲；

步驟四：再通過目標網絡target net和評估網絡eval net對Q值迭代同時得到新的狀態再次放入experience replay中，利用損失函數更新權重參數，最終得到最優近似解解，獲得邊緣服務器協作的最優決策。

可選的，所述步驟一中，邊緣服務器在接收協同計算結果上花費的精力和時間忽略不計；

考慮系統模型，N個移動用戶通過無線鏈路將計算任務卸載到邊緣服務器；每個用戶有M個獨立的任務需要完成；

為對任務建模，使用蜂窩網絡形狀來最大化邊緣服務器的覆蓋利用率；通過合作優化每個邊緣任務的卸載決策和服務器計算資源分配，以及任務的傳輸和接收，制定以最小化完成計算任務的能耗和計算資源充分利用為目標的優化案例。

可選的，所述步驟二中，視每個邊緣服務器為一個智能體，將其每時刻的CPU、任務量和能耗的計算資源狀態作為一個狀態樣本，其中合作伙伴的cpu空閑配置文件被定義為終端設備的數據，合作伙伴在持續時間t∈[0,T]內計算這些數據，表示為U_bit(t)；