[發明專利]邊緣計算環境中基于深度Q神經網絡的工作流調度方法

在審

• 申請號: 202110074556.5
• 申請日: 2021-01-20
• 公開（公告）號: CN112905312A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 俞東進;項媛媛;黃彬彬
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06N3/04;G06N3/08
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

本發明主要公開了在邊緣計算環境中基于深度強化學習的工作流調度方法SAWS。本發明實施的主要過程是先把問題構建成馬爾可夫決策過程，定義邊緣計算環境中工作流調度問題所對應的獎勵、狀態和動作，然后根據工作流中任務結點的執行時長、傳輸時長和依賴情況計算任務結點的權重進行排序，再基于深度Q網絡對任務結點的調度作出決策。SAWS策略的主要目標是在保障用戶信息安全的前提下找到能使工作流的長期執行時延最短的任務調度策略。本發明通過Q神經網絡的學習和決策在大大提升在移動邊緣網絡環境中工作流的執行效率的同時還保證了用戶的信息安全。

技術領域

本發明主要涉及深度強化學習和邊緣計算領域，特別是涉及到一種邊緣計算環境中基于深度Q神經網絡的工作流調度方法。

背景技術

基于移動邊緣計算(MEC)的移動邊緣網絡可以為流行的移動應用程序(如虛擬/增強現實，移動游戲，車載網絡應用程序等)提供低延遲和高計算量。在移動邊緣網絡中，帶有計算和存儲功能的邊緣云服務器部署在移動用戶附近，對于移動設備而言，將服務卸載到邊緣服務器上可以為移動用戶提供最佳的服務質量，即最小的響應延遲。

對于移動應用可以定義為一系列任務的執行，而這些任務的執行順序由任務之間對結果數據的依賴性得到。通?？捎捎邢驘o環圖(DAG)表示移動設備生成的工作流，工作流中的任務節點集合對應圖中的節點集合，而任務節點間存在數據依賴的關系則被表示為圖中的有向邊。除了調度工作流任務帶來的難點外，還存在兩個難點：(1)移動邊緣計算場景的動態未知性。(2)用戶與邊緣服務器之間的信息交互存在著數據泄露和數據被篡改的可能性，給用戶造成損失。

因此，如何在移動邊緣計算環境中保證移動用戶工作流調度的服務質量和信息安全是移動邊緣計算研究中的一個重要問題。

發明內容

為了解決上述問題，本發明提供一種邊緣計算環境中基于深度Q神經網絡的工作流調度方法。

本發明包含以下步驟：

S1.構建邊緣計算環境模型：

由U來表示移動設備，由集合eNB＝{eNB₁,…,eNB_i,…,eNB_n}來表示n個邊緣服務器；

移動用戶的計算能力由C_u表示，每個邊緣服務器到計算能力由C_i表示；

移動設備U與n個邊緣服務器之間的傳輸速率為表示在第t個時間片上eNB_i與U之間的傳輸速率。

S2.生成工作流：

將移動設備生成的工作流中所包含的任務節點個數設為K，對1-K進行隨機排列，并以此排列順序作為有向無環圖的拓撲排序結果來生成對應的有向無環圖G＝V,E，作為移動設備U產生的工作流；有向無環圖中節點的集合V＝{v₁,…,v_k,…,v_K}作為工作流中任務節點的集合，有向無環圖中的有向邊集合E＝{e_kl|v_k∈V,v_l∈V}作為工作流中任務節點之間依賴關系的集合；

有向邊e_kl表明只有當執行任務v_k的邊緣服務器將任務v_k的結果數據發送至準備執行任務v_l的邊緣服務器上，任務v_l才能被執行；而且工作流中只有一個開始節點v_start作為工作流中最先被執行的任務節點，也只有一個結束節點v_end，而且結束節點執行完成的時間即為工作流執行完成的時間。

S3.任務結點優先級排序：