[發明專利]面向多階段AI云服務的高吞吐異構資源管理方法及器件

在審

• 申請號: 202111193853.8
• 申請日: 2021-10-13
• 公開（公告）號: CN114035935A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 陳全;過敏意;張蔚;符凱華
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N5/00
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 龐紅芳

1.一種面向多階段AI云服務的高吞吐異構資源管理方法，其特征在于：

利用一服務質量目標分配器基于接收到的LC服務的請求將服務質量目標拆分為CPU側服務質量目標和GPU側服務質量目標；

利用一異構資源管理器以CPU側服務質量目標和GPU側服務質量目標作為初始樣本搜索最佳資源分配；

利用一服務質量補償器實時監測CPU階段的進度，并在用戶請求在CPU階段花費的時間超過其CPU的服務質量目標，加速其在加速器端的執行。

2.根據權利要求1所述的面向多階段AI云服務的高吞吐異構資源管理方法，其特征在于：所述基于接收到的LC服務的請求將服務質量目標拆分為CPU側服務質量目標和GPU側服務質量目標，包括：

將LC任務的每種資源配額設置為其最小資源單位，同時將其余資源分配給BE任務；

根據共享資源的性能曲面調整CPU-GPU階段的服務質量分配；

記錄LC任務的服務質量增加值和BE任務性能下降值；

選擇最佳資源分配，將最佳資源分配從BE任務調整到LC任務并執行下一次循環，實現將服務質量目標拆分為CPU側服務質量目標和GPU側服務質量目標。

3.根據權利要求1所述的面向多階段AI云服務的高吞吐異構資源管理方法，其特征在于：所述異構資源管理器基于隨機森林的貝葉斯優化算法搜索最佳資源分配。

4.根據權利要求3所述的面向多階段AI云服務的高吞吐異構資源管理方法，其特征在于：所述初始樣本采用以下策略中的任一種進行采樣：所有CPU階段任務分配相等的計算資源的相同優先級策略、從服務質量目標分配器中獲取資源分配初始點的初始資源分配策略、為BE作業分配最小資源配額，剩余給LC任務的服務質量保證策略。

5.根據權利要1所述的面向多階段AI云服務的高吞吐異構資源管理方法，其特征在于：為異構資源管理器配置評分函數，以引導資源管理器在配置空間中朝著正確的方向進行搜索。

6.根據權利要1所述的面向多階段AI云服務的高吞吐異構資源管理方法，其特征在于：構建基于LC任務的服務質量和BE任務的綜合吞吐量的分段的目標函數；所述分段的目標函數的第一個目標是在CPU和GPU上滿足服務質量目標，第二個目標是最大化BE任務的整體系統吞吐量。

7.根據權利要1或6所述的面向多階段AI云服務的高吞吐異構資源管理方法，其特征在于：還包括配置搜索最佳資源分配的優化約束條件；所述優化約束條件包括：每個任務的最大配額不超過資源總量；對于每種資源，所有任務的配額總和不能大于總量。

8.根據權利要6或7所述的面向多階段AI云服務的高吞吐異構資源管理方法，其特征在于：所述實時監測CPU階段的進度包括：計算執行CPU階段所增加的時長，如果執行CPU階段所增加的時長大于使用新的資源配額下減少的GPU階段執行時間，則確定用戶請求在CPU階段花費的時間未超過其CPU的服務質量目標。

9.根據權利要1所述的面向多階段AI云服務的高吞吐異構資源管理方法，其特征在于：所述服務質量補償器為LC服務的請求確認新的資源配額，在確定新的資源配額時，分配給BE任務的計算資源配額同時更新；若LC服務的請求的CPU階段進度滿足新配額的服務質量，則分配給LC服務的請求的資源配額回滾到其原始配額。

10.一種電子器件，其特征在于：包括CPU和GPU，所述電子器件應用如權利要求1至權利要求9任一權利要求所述的面向多階段AI云服務的高吞吐異構資源管理方法。