[發明專利]實現動態工作流最優計算的海量異構服務器互連方法

在審

• 申請號: 202110375720.6
• 申請日: 2021-04-08
• 公開（公告）號: CN113176932A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 沈鴻;楊元昊
• 申請（專利權）人: 中山大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

1.實現動態工作流最優計算的海量異構服務器互連方法，其特征在于，包括以下步驟：

S1：獲取DAG工作流中沒有前置依賴的任務，并將對應的任務請求發送至任務調度器；

S2：任務調度器接收到任務請求后，將當下分布式系統中可利用資源和待分配任務作為強化學習算法的輸入，強化學習算法輸出任務執行的優先級并基于貪心算法依次將任務分配給邊際效益最大的服務器進行運算處理；

S3：完成當前階段的任務分配后，若一個任務已經完成執行，則對應的服務器將向任務調度器發出異步通知，任務調度器再次在等待隊列的任務中選擇沒有前置依賴的任務，并開始新一輪的強化學習的任務調度與分配。

2.根據權利要求1所述的實現動態工作流最優計算的海量異構服務器互連方法，其特征在于，步驟S1中強化學習算法通過n步比較法進行優先級排序處理，具體處理過程為：

設定待排序任務為k個，動作空間數為m，其中mk；

從第一個待排序任務開始每次依次選取m個進行排序，進行比較排序，直至K個全部排序完成。

3.根據權利要求1所述的實現動態工作流最優計算的海量異構服務器互連方法，其特征在于，貪心算法的處理流程為：

對于給定優先級排序的任務，從第一個任務開始每個任務均遍歷所有主機，選擇一個主機j，使得主機j執行當前任務時邊際效用最大，則將該任務分配給主機j執行。

4.根據權利要求3所述的實現動態工作流最優計算的海量異構服務器互連方法，其特征在于，貪心算法得到任務分配在主機上執行的方案，將該執行方案所得到的總效用作為強化學習的獎賞，返回強化學習算法的給策略梯度網絡進行對應的參數梯度更新。

5.根據權利要求1所述的實現動態工作流最優計算的海量異構服務器互連方法，其特征在于，所述邊際效用為與任務價值成正比，與任務計算負載成反比的函數。

6.根據權利要求1所述的實現動態工作流最優計算的海量異構服務器互連方法，其特征在于，在步驟S1中在獲取DAG工作流中沒有前置依賴的任務之前還對DAG工作流進行拓撲排序。

7.一種計算機系統，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的實現動態工作流最優計算的海量異構服務器互連方法的程序，其特征在于：所述的實現動態工作流最優計算的海量異構服務器互連方法程序被處理器執行所述的時，實現如下步驟：

S1：獲取DAG工作流中沒有前置依賴的任務，并將對應的任務請求發送至任務調度器；

S2：任務調度器接收到任務請求后，將當下分布式系統中可利用資源和待分配任務作為強化學習算法的輸入，強化學習算法輸出任務執行的優先級并基于貪心算法依次將任務分配給邊際效益最大的服務器進行運算處理；

S3：完成當前階段的任務分配后，若一個任務已經完成執行，則對應的服務器將向任務調度器發出異步通知，任務調度器再次在等待隊列的任務中選擇沒有前置依賴的任務，并開始新一輪的強化學習的任務調度與分配。

8.根據權利要求7所述的一種計算機系統，其特征在于，步驟S1中強化學習算法通過n步比較法進行優先級排序處理，具體處理過程為：

設定待排序任務為k個，動作空間數為m，其中mk；

從第一個待排序任務開始每次依次選取m個進行排序，進行比較排序，直至K個全部排序完成。

9.根據權利要求7所述的一種計算機系統，其特征在于，貪心算法的處理流程為：

對于給定優先級排序的任務，從第一個任務開始每個任務均遍歷所有主機，選擇一個主機j，使得主機j執行當前任務時邊際效用最大，則將該任務分配給主機j執行。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于：所述的計算機程序被處理器執行時，實現如權利要求1～6任一項所述的方法的步驟。