[發明專利]一種基于深度強化學習的邊緣計算主動服務方法及系統

在審

• 申請號: 202111370645.0
• 申請日: 2021-11-18
• 公開（公告）號: CN114154566A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 繆巍巍;張明軒;曾锃;黃進;張瑞;張震;李世豪;滕昌志
• 申請（專利權）人: 國網江蘇省電力有限公司信息通信分公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F30/27
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 許婉靜

本發明公開了一種基于深度強化學習的邊緣計算主動服務方法及系統，方法包括以下步驟：1)提取用戶特征信息，同時提取用戶意圖分類；2)通過深度神經網絡預訓練意圖預判模型，意圖預判模型輸出為經過歸一化指數函數softmax的多分類用戶意圖概率，然后利用交叉熵損失函數優化意圖預判模型，優化后的意圖預判模型輸出為當前的意圖的類別，同時將意圖預判模型的倒數第二層作為表示向量，建立DDPG模型；3)通過線上探索對DDPG模型進行優化；4)設定強化學習的獎賞函數，如果用戶使用其中一個服務，則獎賞值為1，否則獎賞值為0；根據獎賞值對用戶資源請求進行預判。本發明的方法可以提升邊緣節點的服務效率，并提升用戶滿意度。

技術領域

本發明涉及一種基于深度強化學習的邊緣計算主動服務系統及方法，屬于用戶邊緣計算技術領域。

背景技術

使用邊緣計算的用戶(如AR用戶、入侵檢測終端設備)在與邊緣節點的交互過程中，邊緣節點可以根據用戶的負載情況提供主動的邊緣服務，從而增加用戶體驗，例如計算卸載、邊緣緩存服務等等。如果可以提前預判到用戶的性能瓶頸，則能夠根據用戶的使用信息，主動為用戶進行服務，提升用戶體驗。預判用戶負載情況并進行主動服務可以有效提升用戶的滿意度，現有的方法主要有以下幾種:

1)基于人工規則配置，根據用戶偏好、歷史負載等，可以人工的配置相關規則，預判用戶資源需求，例如針對喜歡看電影的用戶，可以提前部署視頻資源；對于喜歡玩游戲的用戶，可以預分配較多的計算資源。

人工規則配置存在的問題：

a)需要專家領域知識，需要大量人工參與；

b)用戶的資源需求可能多變復雜，需要逐步的進行配置；

c)用戶畫像、應用信息等非常復雜，有上千種特征，人工很難配置出合理的規則；

2)基于監督學習的方法，根據用戶的用戶特征、歷史負載等等等，通過神經網絡、樹模型等訓練監督學習模型，通過多分類來預測用戶資源需求，并進行提前部署。

監督學習目前存在的問題：

a)用戶的資源需求具有序列性，在上一次資源請求中，對用戶的服務質量會影響用戶在下一步的需求，監督學習很難考慮到這一點；

b)隨著業務的發展，用戶的不同應用的資源請求特征也會有變化，每次有應用更新等發生時，監督學習都需要重新訓練模型，計算量大，需要花費時間多。

發明內容

本發明所要解決的技術問題：在邊緣計算場景中，用戶的資源請求具有序列性，并且用戶資源請求可能會動態變化，計算量大，需要花費時間多。

本發明采用的技術方案工作原理是：本發明對以下兩種場景進行用戶資源需求預判：

邊緣緩存：在用戶瀏覽視頻資源等情況時，如果可以預測到用戶的視頻請求等，可以提前在邊緣進行緩存，為用戶提供更快速的帶寬資源；

計算密集應用：在用戶玩游戲、數據計算等應用請求中，如果可以預測到用戶請求，主動為用戶計算任務提供更高效的計算服務，提高用戶的計算效率。

針對以上幾種情況，本發明通過強化學習的方式，每次通過探索提供給用戶不同的資源服務，并通過用戶點擊或其他反饋獲取獎賞，最終目標是最大化用戶長期的累積獎賞或用戶的滿意度，來實現用戶資源請求預判。

本發明的技術方案為:

一種基于深度強化學習的邊緣計算主動服務方法，包括以下步驟：

1)提取用戶特征信息，特征信息包括用戶畫像、用戶在設定期間內的應用負載、用戶位置等，同時提取用戶意圖分類；