[發(fā)明專利]一種任務并行處理的實現(xiàn)方法、裝置、設備和介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010093670.8
• 申請日: 2020-02-14
• 公開（公告）號: CN111309479B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設計）人: 董大祥;王海峰;于佃海;馬艷軍
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/08;G06N20/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種任務并行處理的實現(xiàn)方法，其特征在于，包括：

確定目標任務的至少一個并行計算圖，其中，所述并行計算圖中包括多個算子任務；其中，所述算子任務為能夠獨立調(diào)度給集群中節(jié)點執(zhí)行的任務；

獲取所述算子任務在集群中被節(jié)點執(zhí)行的硬件執(zhí)行代價；

根據(jù)各所述算子任務的硬件執(zhí)行代價，計算所述并行計算圖采用所述算子調(diào)度方案在所述集群中執(zhí)行的總執(zhí)行代價；其中，所述集群包括多個節(jié)點，用于執(zhí)行所述算子任務；

根據(jù)所述總執(zhí)行代價，篩選確定并行計算圖以及算子調(diào)度方案，其中，所述并行計算圖具有至少一種算子調(diào)度方案；

根據(jù)確定的并行計算圖和算子調(diào)度方案，將所述并行計算圖中的算子任務在所述集群中調(diào)度執(zhí)行。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取所述算子任務在集群中被節(jié)點執(zhí)行的硬件執(zhí)行代價包括：

將所述并行計算圖的算子任務，調(diào)度至所述集群中執(zhí)行設定規(guī)模的處理；

采集所述算子任務被節(jié)點執(zhí)行的硬件執(zhí)行代價。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)各所述算子任務的硬件執(zhí)行代價，計算所述并行計算圖采用所述算子調(diào)度方案在所述集群中執(zhí)行的總執(zhí)行代價包括：

按照所述算子調(diào)度方案中的調(diào)度順序，以及各算子任務在所述并行計算圖中的并發(fā)關(guān)系，統(tǒng)計各所述算子任務的硬件執(zhí)行代價，計算所述總執(zhí)行代價。

4.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，確定目標任務的至少一個并行計算圖包括：

根據(jù)所述目標任務的單機計算圖，以及所述集群中的節(jié)點數(shù)量，生成至少一個所述并行計算圖。

5.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，所述算子任務的類型至少包括：計算類和通信類；

所述計算類的算子任務用于對數(shù)據(jù)進行計算；所述通信類的算子任務用于對數(shù)據(jù)在節(jié)點之間進行傳輸。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述目標任務為機器學習模型的訓練任務或運行任務，所述計算類的算子任務包括下述至少一項：數(shù)學運算算子、數(shù)組運算算子和神經(jīng)網(wǎng)絡積木運算算子。

7.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于：

所述算子任務的硬件執(zhí)行代價包括下述至少一種：所述算子任務的執(zhí)行時間、以及所述算子任務的硬件占用數(shù)據(jù)；

所述硬件占用數(shù)據(jù)包括下述至少一種：顯存占用比例、芯片利用率、和網(wǎng)絡帶寬利用率。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，如果所述硬件執(zhí)行代價的種類為多個，則所述并行計算圖的總執(zhí)行代價為多個種類總執(zhí)行代價的組合或?qū)Χ鄠€種類總執(zhí)行代價的加權(quán)求和值。

9.一種任務并行處理的實現(xiàn)方法，其特征在于，包括：

確定目標任務的至少一個并行計算圖，其中，所述并行計算圖中包括多個算子任務；其中，所述算子任務為能夠獨立調(diào)度給集群中節(jié)點執(zhí)行的任務；

根據(jù)所述并行計算圖的算子特征、算子調(diào)度方案的調(diào)度特征、以及所述集群的硬件特征，基于調(diào)度方案模型，對所述并行計算圖采用所述算子調(diào)度方案在所述集群中處理的總執(zhí)行代價進行預測；所述集群包括多個節(jié)點，用于執(zhí)行所述算子任務；

根據(jù)預測的總執(zhí)行代價，篩選確定并行計算圖以及算子調(diào)度方案；其中，所述并行計算圖具有至少一種算子調(diào)度方案；

根據(jù)確定的并行計算圖和算子調(diào)度方案，將所述并行計算圖中的算子任務在所述集群中調(diào)度執(zhí)行。