[發明專利]用于深度學習框架的調度方法、調度裝置、電子設備、存儲介質和程序產品

有效

• 申請號: 202110362239.3
• 申請日: 2021-04-02
• 公開（公告）號: CN113032152B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 王海峰;胡曉光;于佃海;馬艷軍;吳甜
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 趙林琳;辛鳴

本公開提供了一種用于深度學習框架的調度方法、調度裝置、電子設備、存儲介質和程序產品，可以用于人工智能領域，特別是機器學習領域和深度學習領域等領域中。該方法包括：接收針對使用專用處理單元來處理多個任務的處理請求，處理請求包括針對多個任務的調度需求，多個任務中的每個任務與執行多批次數據處理相關聯；以及基于多個任務的調度需求，以數據的批次為單位，調度專用處理單元以處理多個任務。利用上述方法，可以實現對專用處理單元的計算資源和存儲資源的動態調用，因而可以滿足使用專用處理單元進行多任務計算和計算與存儲資源復用的問題，從而能夠提升用戶體驗。

技術領域

本公開涉及計算機技術，并且更具體地，涉及用于深度學習框架的調度方法、調度裝置、電子設備、計算機可讀存儲介質和計算機程序產品，可以用于人工智能領域，特別是機器學習領域和深度學習領域等領域中。

背景技術

深度學習框架可以極大地加速深度學習任務的研發效率。深度學習任務通常都使用深度學習框架來開發。當前主流的深度學習框架大都支持用中央處理單元(CPU)，諸如圖形處理單元(GPU)的專用處理單元，或者專用集成電路(ASIC)芯片等來實現深度學習任務中的訓練。

目前，在很多場景中，都會存在多人或者多個任務復用專用處理單元或者中央處理單元與專用集成電路的情況。因此，在傳統技術中，通過例如使用操作系統的調度功能或者使用虛擬化技術來實現復用處理單元。然而，使用操作系統的調度功能并不適用于包括多批次并行數據處理任務的深度學習任務，并且虛擬化技術成本很高且存在很多局限性。因此，傳統的用于處理單元復用的技術無法實現針對例如深度學習任務對包括專用處理單元的處理單元的計算資源和存儲資源的動態調用，因而無法滿足使用包括專用處理單元的處理單元進行多任務計算和計算與存儲資源復用的問題，從而導致了用戶體驗的降低。

發明內容

根據本公開的實施例，提供了一種調度方法、調度裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

在本公開的第一方面中，提供了一種調度方法，包括：接收針對使用處理單元來處理多個任務的處理請求，處理請求包括針對多個任務的調度需求，多個任務中的每個任務與執行多批次數據處理相關聯；以及基于多個任務的調度需求，以數據的批次為單位，調度處理單元以處理多個任務。

在本公開的第二方面中，提供了一種調度裝置，包括：處理請求接收模塊，被配置為接收針對使用處理單元來處理多個任務的處理請求，處理請求包括針對多個任務的調度需求，多個任務中的每個任務與執行多批次數據處理相關聯；以及第一調度模塊，被配置為基于多個任務的調度需求，以數據的批次為單位，調度處理單元以處理多個任務。

在本公開的第三方面中，提供了一種電子設備，包括至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中存儲器存儲有可被至少一個處理器執行的指令，該指令被至少一個處理器執行，以使至少一個處理器能夠實現根據本公開的第一方面的方法。

在本公開的第四方面中，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，計算機指令用于使計算機實現根據本公開的第一方面的方法。

在本公開的第五方面中，提供了一種計算機程序產品，包括計算機程序，計算機程序在被處理器執行時，執行根據本公開的第一方面的方法。

利用根據本申請的技術，提供了一種調度方法，利用該方法的技術方案，可以實現對包括專用處理單元的處理單元的計算資源和存儲資源的動態調用，因而可以滿足使用包括專用處理單元的處理單元進行多任務計算和計算與存儲資源復用的問題，從而能夠提升用戶體驗。

應當理解，發明內容部分中所描述的內容并非旨在限定本公開的實施例的關鍵或重要特征，亦非用于限制本公開的范圍。本公開的其它特征將通過以下的描述變得容易理解。

附圖說明