[發明專利]用于深度學習框架的調度方法、調度裝置、電子設備、存儲介質和程序產品

有效

• 申請號: 202110362239.3
• 申請日: 2021-04-02
• 公開（公告）號: CN113032152B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 王海峰;胡曉光;于佃海;馬艷軍;吳甜
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 趙林琳;辛鳴

1.一種調度方法，包括：

接收針對使用處理單元來處理多個任務的處理請求，所述處理請求包括針對所述多個任務的調度需求，所述多個任務中的每個任務與執行多批次數據處理相關聯；

基于被包括在所述處理請求中的、針對所述多個任務的所述調度需求，以數據的批次為單位，調度所述處理單元以處理所述多個任務，包括：

基于完成對所述多個任務中的一個任務所涉及的多個批次的數據中的一個批次的數據的處理，基于所述調度需求來確定進一步處理以下之一：

所述一個任務所涉及的所述多個批次的數據中的下一批次的數據，以及

所述多個任務中的另一任務的需要被處理的下一批次的數據，

其中所述調度需求包括所述多個任務中的任務的處理優先級，所述處理優先級隨著所述任務的已處理比例的增加而被降低；以及

在完成與所述多個任務中的第一任務相關聯的至少一個批次的數據的處理之后，如果所述第一任務尚未被處理完畢并且針對所述第一任務所占用的所述處理單元的存儲器的存儲空間大于預設存儲空間閾值，則釋放處理所述第一任務所占用的所述存儲空間。

2.根據權利要求1所述的方法，其中所述處理單元包括專用處理單元。

3.根據權利要求1所述的方法，其中所述調度需求還包括以下至少一項：

處理所述多個任務中的任務將占用所述處理單元的處理時間；以及

處理所述多個任務中的任務將占用所述處理單元的存儲器的存儲空間。

4.根據權利要求1所述的方法，其中所述多個任務與訓練深度學習模型相關聯。

5.根據權利要求1所述的方法，其中調度所述處理單元以處理所述多個任務包括：

基于針對所述多個任務的所述調度需求，使用調度進程、以數據的批次為單位，調度所述處理單元以處理所述多個任務。

6.根據權利要求5所述的方法，還包括：

基于所述多個任務中的、被首先創建的任務的創建，創建所述調度進程。

7.根據權利要求6所述的方法，其中創建所述調度進程包括：

使用所述被首先創建的任務中所包括的調度功能，創建所述調度進程。

8.根據權利要求7所述的方法，還包括：

基于所述被首先創建的任務完成，使用所述多個任務中的、尚未被完成的任務中所包括的調度功能，創建所述調度進程。

9.根據權利要求5所述的方法，其中調度所述處理單元以處理所述多個任務包括：

基于在所述調度需求中所指示的、處理所述多個任務中的任務將占用所述處理單元的處理時間，以及所述多個任務中的任務的已完成處理時間，確定所述多個任務中的任務的未完成處理時間；以及

使用所述調度進程，調度所述處理單元以處理所述多個任務中的、所述未完成處理時間最長的任務。

10.根據權利要求1所述的方法，其中調度所述處理單元以處理所述多個任務包括：

基于確定處理所述多個任務中的第一任務所占用的所述處理單元的存儲器的存儲空間超過在所述調度需求中所指示的、分配給所述第一任務的存儲空間，停止對所述第一任務的處理。

11.根據權利要求1所述的方法，其中調度所述處理單元以處理所述多個任務包括：

基于確定處理所述多個任務中的第一任務所占用的所述處理單元的存儲器的存儲空間超過在所述調度需求中所指示的、分配給所述第一任務的存儲空間，調整對所述第一任務的處理，以降低處理所述第一任務所占用的所述存儲空間。