[發明專利]用于任務調度的方法、電子設備和計算機存儲介質

在審

• 申請號: 202010077759.5
• 申請日: 2020-01-31
• 公開（公告）號: CN113204412A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 劉金鵬;李錦;吳鵬飛;賈真
• 申請（專利權）人: 伊姆西IP控股有限責任公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

根據本公開的示例實施例，提供了一種用于任務調度的方法、電子設備和計算機可讀存儲介質。該方法包括如果確定任務處理系統的當前可用資源不能滿足多個任務集合中要執行的當前任務集合的資源需求，則調度當前任務集合中的、當前可用資源能夠支持的任務以用于執行，每個任務集合中的任務彼此獨立，基于當前任務集合中未被調度的任務，創建用于下一輪調度的待調度任務集合，在多個任務集合中的、當前任務集合之后的下一任務集合中確定與待調度任務集合中的任務相獨立的任務的子集，下一任務集合至少部分依賴于當前任務集合，以及將子集從下一任務集合移入待調度任務集合中。由此，本方案能夠調度并行任務，同時最大化利用當前可用資源。

技術領域

本公開的實施例總體涉及信息處理領域，具體涉及用于任務調度的方法、電子設備和計算機存儲介質。

背景技術

目前有很多流行的深度學習框架，但是無論是數據并行化還是模型并行化，這些框架均未能基于資源來調度深度學習任務，例如時期(epoch)和模型分區。如果在云中使用這類框架，用戶必須先創建虛擬機，并且指定需要多少計算資源，而不知道這些資源的計算能力對于這類深度學習任務是過多的還是不足的。

發明內容

本公開的實施例提供了用于任務調度的方法、電子設備和計算機存儲介質，能夠以正確維持任務之間的依賴關系的方式調度并行任務，同時最大化利用當前可用資源，避免了資源浪費。

在本公開的第一方面，提供了一種用于任務調度的方法。該方法包括：如果確定任務處理系統的當前可用資源不能滿足多個任務集合中要執行的當前任務集合的資源需求，則調度當前任務集合中的、當前可用資源能夠支持的任務以用于執行，每個任務集合中的任務彼此獨立，基于當前任務集合中未被調度的任務，創建用于下一輪調度的待調度任務集合，在多個任務集合中的、當前任務集合之后的下一任務集合中確定與待調度任務集合中的任務相獨立的任務的子集，下一任務集合至少部分依賴于當前任務集合，以及將子集從下一任務集合移入待調度任務集合中。

在本公開的第二方面，提供了一種電子設備。該設備包括至少一個處理單元和至少一個存儲器。至少一個存儲器被耦合到至少一個處理單元并且存儲用于由至少一個處理單元執行的指令。該指令當由至少一個處理單元執行時使得設備執行動作，該動作包括：如果確定任務處理系統的當前可用資源不能滿足多個任務集合中要執行的當前任務集合的資源需求，則調度當前任務集合中的、當前可用資源能夠支持的任務以用于執行，每個任務集合中的任務彼此獨立，基于當前任務集合中未被調度的任務，創建用于下一輪調度的待調度任務集合，在多個任務集合中的、當前任務集合之后的下一任務集合中確定與待調度任務集合中的任務相獨立的任務的子集，下一任務集合至少部分依賴于當前任務集合，以及將子集從下一任務集合移入待調度任務集合中。

在本公開的第三方面，提供了一種計算機可讀存儲介質。該計算機可讀存儲介質上存儲有計算機程序，計算機程序被機器執行時使機器實現根據本公開的第一方面所描述的方法的任意步驟。

提供發明內容部分是為了以簡化的形式來介紹對概念的選擇，它們在下文的具體實施方式中將被進一步描述。發明內容部分無意標識本公開的關鍵特征或必要特征，也無意限制本公開的范圍。

附圖說明

通過結合附圖對本公開示例性實施例進行更詳細的描述，本公開的上述以及其它目的、特征和優勢將變得更加明顯，其中，在本公開示例性實施例中，相同的參考標號通常代表相同部件。

圖1示出了根據本公開的實施例的信息處理環境100的示例的示意圖；

圖2示出了根據本公開的實施例的用于任務調度的方法200的示意流程圖；

圖3示出了根據本公開的實施例的計算圖300的示意圖；

圖4示出了根據本公開的實施例的多個任務集合400的示意流程圖；

圖5示出了根據本公開的實施例的調度結果500的示例的示意圖；以及