[發(fā)明專利]分布式的任務(wù)處理方法、裝置、設(shè)備、存儲介質(zhì)和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011341653.8
• 申請日: 2020-11-25
• 公開（公告）號: CN112416591B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計）人: 劉柏芳
• 申請（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實施例公開了一種分布式的任務(wù)處理方法、裝置、設(shè)備、存儲介質(zhì)和系統(tǒng)。該方法包括：根據(jù)本機(jī)節(jié)點在目標(biāo)節(jié)點集中的節(jié)點角色，從目標(biāo)任務(wù)中獲取匹配的子任務(wù)進(jìn)行處理，目標(biāo)任務(wù)中各子任務(wù)由目標(biāo)節(jié)點集中的各節(jié)點共同處理；在檢測到目標(biāo)節(jié)點集發(fā)生變更時，暫停當(dāng)前處理進(jìn)程；重新確定本機(jī)節(jié)點在變更后目標(biāo)節(jié)點集中的新的節(jié)點角色，并根據(jù)所述新的節(jié)點角色，從目標(biāo)任務(wù)中獲取匹配的子任務(wù)繼續(xù)進(jìn)行處理。使用本發(fā)明的技術(shù)方案，可以實現(xiàn)任務(wù)處理時節(jié)點的彈性擴(kuò)縮，提高了任務(wù)處理效率。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及人工智能、深度學(xué)習(xí)領(lǐng)域，尤其涉及一種分布式的任務(wù)處理方法、裝置、設(shè)備、存儲介質(zhì)和系統(tǒng)。

背景技術(shù)

分布式訓(xùn)練可用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，在分布式訓(xùn)練中，用于訓(xùn)練模型的工作負(fù)載會在多個微型處理器之間進(jìn)行拆分和共享，這些處理器稱為工作器節(jié)點，各節(jié)點并行工作以加速模型訓(xùn)練。

現(xiàn)有的分布式訓(xùn)練，模型訓(xùn)練任務(wù)一旦開始，節(jié)點的數(shù)量即固定不變，無法變更。如果模型訓(xùn)練任務(wù)的處理過程中，計算資源出現(xiàn)空閑，模型訓(xùn)練任務(wù)無法擴(kuò)容節(jié)點數(shù)量，從而造成計算資源的浪費。如果模型訓(xùn)練任務(wù)的處理過程中，計算資源不足時出現(xiàn)高優(yōu)先級的模型訓(xùn)練任務(wù)需要搶占部分節(jié)點，則當(dāng)前的模型訓(xùn)練任務(wù)只能被迫中斷。如果模型訓(xùn)練任務(wù)的處理過程中，某個節(jié)點出現(xiàn)故障，則模型訓(xùn)練任務(wù)只能終止訓(xùn)練。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種分布式的任務(wù)處理方法、裝置、設(shè)備、存儲介質(zhì)和系統(tǒng)，可以實現(xiàn)任務(wù)處理時節(jié)點的彈性擴(kuò)縮，提高了任務(wù)處理效率。

第一方面，本發(fā)明實施例提供了一種分布式的任務(wù)處理方法，由節(jié)點執(zhí)行，包括：

根據(jù)本機(jī)節(jié)點在目標(biāo)節(jié)點集中的節(jié)點角色，從目標(biāo)任務(wù)中獲取匹配的子任務(wù)進(jìn)行處理，目標(biāo)任務(wù)中各子任務(wù)由目標(biāo)節(jié)點集中的各節(jié)點共同處理；

在檢測到目標(biāo)節(jié)點集發(fā)生變更時，暫停當(dāng)前處理進(jìn)程；

重新確定本機(jī)節(jié)點在變更后目標(biāo)節(jié)點集中的新的節(jié)點角色，并根據(jù)所述新的節(jié)點角色，從目標(biāo)任務(wù)中獲取匹配的子任務(wù)繼續(xù)進(jìn)行處理。

第二方面，本發(fā)明實施例提供了一種分布式的任務(wù)處理方法，由節(jié)點控制器執(zhí)行，包括：

獲取目標(biāo)任務(wù)，所述目標(biāo)任務(wù)包括多項子任務(wù)；

根據(jù)目標(biāo)任務(wù)以及當(dāng)前可用計算資源，創(chuàng)建與所述目標(biāo)任務(wù)匹配的目標(biāo)節(jié)點集，并向所述目標(biāo)節(jié)點集中各節(jié)點分配同一任務(wù)標(biāo)識；

根據(jù)動態(tài)更新的可用計算資源，實時動態(tài)調(diào)整與所述目標(biāo)任務(wù)對應(yīng)的目標(biāo)節(jié)點集。

第三方面，本發(fā)明實施例還提供了一種分布式的任務(wù)處理裝置，設(shè)置在節(jié)點中，包括：

子任務(wù)處理模塊，用于根據(jù)本機(jī)節(jié)點在目標(biāo)節(jié)點集中的節(jié)點角色，從目標(biāo)任務(wù)中獲取匹配的子任務(wù)進(jìn)行處理，目標(biāo)任務(wù)中各子任務(wù)由目標(biāo)節(jié)點集中的各節(jié)點共同處理；

當(dāng)前處理進(jìn)程暫停模塊，用于在檢測到目標(biāo)節(jié)點集發(fā)生變更時，暫停當(dāng)前處理進(jìn)程；

節(jié)點角色確定模塊，用于重新確定本機(jī)節(jié)點在變更后目標(biāo)節(jié)點集中的新的節(jié)點角色，并根據(jù)所述新的節(jié)點角色，從目標(biāo)任務(wù)中獲取匹配的子任務(wù)繼續(xù)進(jìn)行處理。

第四方面，本發(fā)明實施例還提供了一種分布式的任務(wù)處理裝置，設(shè)置在節(jié)點控制器中，包括：

目標(biāo)任務(wù)獲取模塊，用于獲取目標(biāo)任務(wù)，所述目標(biāo)任務(wù)包括多項子任務(wù)；

目標(biāo)節(jié)點集創(chuàng)建模塊，用于根據(jù)目標(biāo)任務(wù)以及當(dāng)前可用計算資源，創(chuàng)建與所述目標(biāo)任務(wù)匹配的目標(biāo)節(jié)點集，并向所述目標(biāo)節(jié)點集中各節(jié)點分配同一任務(wù)標(biāo)識；

目標(biāo)節(jié)點集調(diào)整模塊，用于根據(jù)動態(tài)更新的可用計算資源，實時動態(tài)調(diào)整與所述目標(biāo)任務(wù)對應(yīng)的目標(biāo)節(jié)點集。