[發明專利]一種使用深度強化學習進行移動邊緣計算的任務遷移方法

有效

• 申請號: 201910672308.3
• 申請日: 2019-07-24
• 公開（公告）號: CN110347495B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 張成;古博;馬良
• 申請（專利權）人: 張成
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06N3/092;G06N3/084;G06N7/01
• 代理公司: 佛山市海融科創知識產權代理事務所(普通合伙) 44377
• 代理人: 陳志超;唐敏珊

本發明公開了一種使用深度強化學習進行移動邊緣計算的任務遷移方法，先設定系統模型各參數，再描述強化學習中的決策公式，然后基于公式給出任務遷移算法；通過本方法能夠獲得高效的任務遷移機制，而高效的任務遷移機制能夠提高系統實時性，充分利用計算資源，并減少能耗；本方法同時運用了深度強化學習思想進行任務調度，即決策是否遷移計算任務，尤其使用了馬爾可夫決策過程，能夠在極短時間內給出較優解，實時性強；本方法適用于用戶處在高速運動狀態時，解決是否更換使用的服務器基站問題。

技術領域

本發明涉及云服務器邊緣計算的任務調度領域，尤其涉及的是一種使用深度強化學習進行移動邊緣計算的任務遷移方法。

背景技術

邊緣計算與云計算不同，云計算屬于集中式大數據處理系統，而邊緣計算定義為在用戶附近或數據源頭搭建的分布式計算服務平臺。當用戶處于高速移動狀態，所使用的邊緣計算平臺基站需要不斷切換，則涉及到任務遷移技術，其屬于分布式計算系統的任務調度問題之一。

而用戶在高速移動時，往往存在邊緣計算所使用的服務器切換時機不當所導致的長時延、高能耗、信號差等問題。某些現有技術中會嘗試解決上述問題，但均只考慮到單一因素，得到的效果往往不夠理想：如專利CN?105656999?A（公布日?2016.06.08），一種移動云計算環境中能耗優化的合作任務遷移方法，公開了通過合作任務遷移降低能耗，但其只考慮服務器負載問題。又如專利CN?103957231?A（公布日?2014.07.30），一種云計算平臺下的虛擬機分布式任務調度方法，雖然公開了云計算調度，但其沒有提及在高速移動時云計算如何調度。

因此，現有技術還有待于改進和發展。

發明內容

本發明的目的在于提供一種使用深度強化學習進行移動邊緣計算的任務遷移方法，旨在解決現有技術不能同時解決用戶在高速移動時，因邊緣計算所使用的服務器切換時機不當所導致的長時延、高能耗、信號差的問題。

本發明的技術方案如下：一種使用深度強化學習進行移動邊緣計算的任務遷移方法，其中，具體包括以下步驟：

步驟S1：設定系統模型各參數；

步驟S2：描述強化學習中的決策公式；

步驟S3：基于公式給出任務遷移算法。

所述的使用深度強化學習進行移動邊緣計算的任務遷移方法，其中，所述步驟S1包括以下步驟：

步驟S11：定義邊緣計算服務基站位置集合為；

步驟S12：定義服務時間片段集合為；

步驟S13：在t時刻，，定義用戶連接的服務基站位置為；

步驟S14：定義t時刻距離用戶最近的服務基站位置為；

步驟S15：定義?式1為兩基站的距離。

所述的使用深度強化學習進行移動邊緣計算的任務遷移方法，其中，所述步驟S2中，采用馬爾可夫決策過程描述強化學習中的決策公式，決策的智能體為裝載于用戶終端的一種云計算控制裝置，該云計算控制裝置可決定是否進行任務遷移。

所述的使用深度強化學習進行移動邊緣計算的任務遷移方法，其中，所述步驟S2包括以下步驟：

步驟S21：定義t時刻智能體的狀態為?式2，為用戶當前使用基站與考慮任務遷移基站的距離之差；

步驟S22：定義智能體的動作集合為?式3，代表不做任務遷移，代表進行任務遷移；

步驟S23：定義t時刻智能體的動作為?式4；