[發明專利]一種任務并行處理的實現方法、裝置、設備和介質

有效

• 申請號: 202010093670.8
• 申請日: 2020-02-14
• 公開（公告）號: CN111309479B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 董大祥;王海峰;于佃海;馬艷軍
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/08;G06N20/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本申請實施例公開了一種任務并行處理的實現方法、裝置、設備和介質，涉及深度學習技術領域。該方法包括：確定目標任務的至少一個并行計算圖；根據所述并行計算圖的算子任務在集群中的硬件執行代價，篩選確定并行計算圖以及算子調度方案，其中，所述集群包括多個節點，用于執行所述算子任務；所述并行計算圖具有至少一種算子調度方案；根據確定的并行計算圖和算子調度方案，將所述并行計算圖中的算子任務在所述集群中調度執行。本申請實施例的技術方案，在為目標任務確定并行計算圖以及算子調度方案時，引入考慮了算子任務在集群中的硬件執行代價，作為篩選依據，能夠更好使目標任務的執行適配于不同環境情況的集群，達到最優的并行效率。

技術領域

本申請實施例涉及計算機技術，具體涉及人工智能技術和并行處理技術。

背景技術

隨著人工智能技術的發展，其中深度學習技術被越來越多的使用。深度學習技術，典型的包括深度學習模型的訓練過程，以及訓練后深度學習模型的應用過程。

目前，隨著深度學習模型訓練過程和應用過程的計算量增加，為了縮短時間，已經逐步采用了并行處理的方式。即，將深度學習模型的訓練或應用任務，分配至由多節點構成的集群中，進行并行處理。例如采用GPU多機多卡進行并行訓練。

現有技術中，如何能夠提高深度學習模型計算過程并行處理的效率，是當前的研究熱點方向之一。

發明內容

本申請實施例提供了一種任務并行處理的實現方法、裝置、設備和介質，從而能夠提高任務在集群中的并行處理效率。

第一方面，本申請實施例提供了一種任務并行處理的實現方法，包括：

確定目標任務的至少一個并行計算圖，其中，所述并行計算圖中包括多個算子任務；

根據所述并行計算圖的算子任務在集群中的硬件執行代價，篩選確定并行計算圖以及算子調度方案，其中，所述集群包括多個節點，用于執行所述算子任務；所述并行計算圖具有至少一種算子調度方案；

根據確定的并行計算圖和算子調度方案，將所述并行計算圖中的算子任務在所述集群中調度執行。

本申請實施例的技術方案，在為目標任務確定并行計算圖以及算子調度方案時，引入考慮了算子任務在集群中的硬件執行代價，作為篩選依據，能夠更好使目標任務的執行適配于不同環境情況的集群，達到最優的并行效率。

可選的，根據所述并行計算圖的算子任務在集群中的硬件執行代價，篩選確定并行計算圖以及算子調度方案包括：

獲取所述算子任務在集群中被節點執行的硬件執行代價；

根據各所述算子任務的硬件執行代價，計算所述并行計算圖采用所述算子調度方案在所述集群中執行的總執行代價；

根據所述總執行代價，篩選確定并行計算圖以及算子調度方案。

上述申請中的一個可選實施方式，通過獲取單個算子任務的硬件執行代價來計算確定總執行代價，能夠精確獲得并行計算圖以及算子調度方案在集群中的總執行代價，使得篩選效果更佳準確。

可選的，獲取所述算子任務在集群中被節點執行的硬件執行代價包括：

將所述并行計算圖的算子任務，調度至所述集群中執行設定規模的處理；

采集所述算子任務被節點執行的硬件執行代價。

可選的，根據各所述算子任務的硬件執行代價，計算所述并行計算圖采用所述算子調度方案在所述集群中執行的總執行代價包括：

按照所述算子調度方案中的調度順序，以及各算子任務在所述并行計算圖中的并發關系，統計各所述算子任務的硬件執行代價，計算所述總執行代價。