[發明專利]基于資源調整的深度學習模型動態批處理調度方法和系統

在審

• 申請號: 202111543693.5
• 申請日: 2021-12-16
• 公開（公告）號: CN114217966A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 陳偉睿;蔣昌龍;馮奕樂;王子龍;張政;丁曉偉
• 申請（專利權）人: 上海體素信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06F9/54;G06N3/08;G06N5/04
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李源

1.一種基于資源調整的深度學習模型動態批處理調度方法，其特征在于，包括：

步驟1：將深度學習推理作業按運行時消耗評估資源的種類進行任務拆分；

步驟2：根據深度學習推理作業的資源種類和當前部署環境資源情況進行任務動態批處理，當滿足預設停止調度條件時停止調度，當接收到新推理作業，或在可用資源發生變化時，觸發新的調度。

2.根據權利要求1所述的基于資源調整的深度學習模型動態批處理調度方法，其特征在于，當任務在DAG圖中的前序任務都完成后，記錄為就緒，添加至對應調度就緒隊列；

為實現GPU型任務的批處理動態調度，為GPU型就緒任務構建與CPU型就緒任務隊列不同的隊列結構。

3.根據權利要求1所述的基于資源調整的深度學習模型動態批處理調度方法，其特征在于，若CPU型的就緒隊列為多級隊列，則第一級按接收作業的先后順序進行先入先出FIFO調度，每有一個新作業到來時增加一個對應隊列，當作業分解的任務都已完成時刪除該隊列；

第二級按作業內就緒作業任務順序進行FIFO調度，任務記錄為就緒狀態的時間順序，調度時優先調度第一級中的首個隊列，在首個隊列內優先調度其中的首個任務。

4.根據權利要求1所述的基于資源調整的深度學習模型動態批處理調度方法，其特征在于，GPU型的就緒隊列是由多個獨立的隊列組成，當出現拆分出的GPU型任務，運行前需加載深度學習模型，構建一個對應隊列；

調度時，根據當前隊列內剩余元素數量由多到少，或隊列上次成功調度時間距離當前時間由遠及近動態排列隊列優先級。

5.根據權利要求1所述的基于資源調整的深度學習模型動態批處理調度方法，其特征在于，觸發GPU型任務調度后，執行如下步驟：

步驟3：排序選出推理任務隊列QueueA，獲取其中就緒任務TaskA和數量tryBatchSize；

步驟4：排序選出包含已加載且空閑狀態StageA模型，當前可用顯存最大的GPU，計算調度StageA運行支持的最大批量maxBatchSize，若min(tryBatchsize,maxBatchSize)0，則執行步驟5；否則計算嘗試卸載GPU上已經加載的其他空閑模型后調度StageA運行支持的最大批量maxBatchSize，若min(tryBatchsize,maxBatchSize)0，則執行步驟5；

否則排序選出不包含已加載且空閑狀態StageA模型，當前可用顯存最大的GPU，計算加載模型StageA后，運行支持的最大批量maxBatchSize，若min(tryBatchSize,maxBatchSize)0，則執行步驟5；否則計算嘗試卸載GPU上已經加載的其他空閑模型后調度StageA運行支持的最大批量maxBatchSize，若min(tryBatchsize,maxBatchSize)0，則執行步驟5，否則結束GPU型任務調度；

步驟5：以min(tryBatchSize,maxBatchSize)為批處理大小從Queue中取出對應數量Task執行，然后返回步驟3，繼續執行。

6.一種基于資源調整的深度學習模型動態批處理調度系統，其特征在于，包括：

模塊M1：將深度學習推理作業按運行時消耗評估資源的種類進行任務拆分；

模塊M2：根據深度學習推理作業的資源種類和當前部署環境資源情況進行任務動態批處理，當滿足預設停止調度條件時停止調度，當接收到新推理作業，或在可用資源發生變化時，觸發新的調度。

7.根據權利要求6所述的基于資源調整的深度學習模型動態批處理調度系統，其特征在于，當任務在DAG圖中的前序任務都完成后，記錄為就緒，添加至對應調度就緒隊列；

為實現GPU型任務的批處理動態調度，為GPU型就緒任務構建與CPU型就緒任務隊列不同的隊列結構。