[發(fā)明專利]一種任務(wù)負(fù)載調(diào)度方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010568709.7
• 申請(qǐng)日: 2020-06-19
• 公開（公告）號(hào): CN111880911A
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計(jì)）人: 郭振華;范寶余;王麗;趙雅倩
• 申請(qǐng)（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 侯珊

本發(fā)明公開了一種任務(wù)負(fù)載調(diào)度方法，該方法包括以下步驟：對(duì)接收到的任務(wù)負(fù)載調(diào)度請(qǐng)求進(jìn)行解析，得到待調(diào)度的目標(biāo)任務(wù)；將目標(biāo)任務(wù)發(fā)送到混合異構(gòu)分布式計(jì)算系統(tǒng)中；其中，混合異構(gòu)分布式計(jì)算系統(tǒng)包括多個(gè)不同計(jì)算架構(gòu)的計(jì)算設(shè)備；利用混合異構(gòu)分布式計(jì)算系統(tǒng)根據(jù)預(yù)建立的設(shè)備拓?fù)浣Y(jié)構(gòu)圖對(duì)目標(biāo)任務(wù)進(jìn)行負(fù)載調(diào)度處理。應(yīng)用本發(fā)明實(shí)施例所提供的技術(shù)方案，滿足了多模態(tài)人工智能算法模型的計(jì)算要求，實(shí)現(xiàn)了不同計(jì)算架構(gòu)的計(jì)算設(shè)備間的高效計(jì)算協(xié)同，提升了混合異構(gòu)分布式計(jì)算系統(tǒng)的整體性能。本發(fā)明還公開了一種任務(wù)負(fù)載調(diào)度裝置、設(shè)備及存儲(chǔ)介質(zhì)，具有相應(yīng)技術(shù)效果。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別是涉及一種任務(wù)負(fù)載調(diào)度方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著人工智能技術(shù)的不斷發(fā)展，人工智能(AI，Artificial Intelligence)算法模型對(duì)算力的需求持續(xù)增長(zhǎng)，并且伴隨著多模態(tài)人工智能的發(fā)展，人工智能算法模型訓(xùn)練任務(wù)的計(jì)算特性差異化也在不斷擴(kuò)大，例如，卷積神經(jīng)網(wǎng)絡(luò)(CNN，Convolutional NeuralNetwork)模型包含大量的矩陣運(yùn)算，適合于GPU設(shè)備進(jìn)行異構(gòu)加速；圖神經(jīng)模型包含了大量非規(guī)則性計(jì)算，更加適用于定制化處理器，包括FPGA或ASIC芯片；而同時(shí)包含視覺和語言處理的多模態(tài)人工智能則同時(shí)需要矩陣運(yùn)算加速和時(shí)序空間上的異構(gòu)加速，同時(shí)需要兩種處理器架構(gòu)進(jìn)行協(xié)同加速。

現(xiàn)有人工智能計(jì)算系統(tǒng)中，由于人工智能計(jì)算框架的限制，在進(jìn)行人工智能算法模型訓(xùn)練任務(wù)時(shí)，往往只能同時(shí)采用同一種架構(gòu)的處理器進(jìn)行人工智能算法模型的分布式訓(xùn)練，例如大規(guī)模GPU板卡組成的分布式系統(tǒng)，大量CPU組成的分布式系統(tǒng)，或者大量定制化AI芯片組成的分布式系統(tǒng)。單一計(jì)算架構(gòu)的分布式計(jì)算系統(tǒng)可以高效處理現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò)模型訓(xùn)練任務(wù)，但是隨著多模態(tài)人工智能的發(fā)展，在同一個(gè)人工智能算法網(wǎng)絡(luò)模型結(jié)構(gòu)中，既包含大量類似于矩陣運(yùn)算的規(guī)則化數(shù)據(jù)處理過程，又包含大量復(fù)雜維度的非規(guī)則化數(shù)據(jù)處理過程，同時(shí)還需要進(jìn)行復(fù)雜的計(jì)算任務(wù)調(diào)度，單一計(jì)算架構(gòu)處理器組成的分布式系統(tǒng)無法滿足多模態(tài)人工智能算法模型的計(jì)算要求。

因此需要構(gòu)建同時(shí)包含多種計(jì)算架構(gòu)的混合異構(gòu)分布式計(jì)算系統(tǒng)，但是現(xiàn)有的人工智能計(jì)算框架只把人工智能算法網(wǎng)絡(luò)模型抽象成計(jì)算任務(wù)圖，在任務(wù)負(fù)載調(diào)度時(shí)將各子任務(wù)分配給不同的處理器進(jìn)行處理，通過任務(wù)分配的方式進(jìn)行負(fù)載調(diào)度不能充分利用處理器的計(jì)算資源，造成計(jì)算資源浪費(fèi)，任務(wù)處理效率低。

綜上所述，如何有效地解決單一計(jì)算架構(gòu)處理器組成的分布式系統(tǒng)無法滿足多模態(tài)人工智能算法模型的計(jì)算要求，通過任務(wù)分配的方式進(jìn)行負(fù)載調(diào)度造成計(jì)算資源浪費(fèi)，任務(wù)處理效率低等問題，是目前本領(lǐng)域技術(shù)人員急需解決的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種任務(wù)負(fù)載調(diào)度方法，該方法滿足了多模態(tài)人工智能算法模型的計(jì)算要求，實(shí)現(xiàn)了不同計(jì)算架構(gòu)的計(jì)算設(shè)備間的高效計(jì)算協(xié)同，提升了混合異構(gòu)分布式計(jì)算系統(tǒng)的整體性能；本發(fā)明的另一目的是提供一種任務(wù)負(fù)載調(diào)度裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

一種任務(wù)負(fù)載調(diào)度方法，包括：

對(duì)接收到的任務(wù)負(fù)載調(diào)度請(qǐng)求進(jìn)行解析，得到待調(diào)度的目標(biāo)任務(wù)；

將所述目標(biāo)任務(wù)發(fā)送到混合異構(gòu)分布式計(jì)算系統(tǒng)中；其中，所述混合異構(gòu)分布式計(jì)算系統(tǒng)包括多個(gè)不同計(jì)算架構(gòu)的計(jì)算設(shè)備；

利用所述混合異構(gòu)分布式計(jì)算系統(tǒng)根據(jù)預(yù)建立的設(shè)備拓?fù)浣Y(jié)構(gòu)圖對(duì)所述目標(biāo)任務(wù)進(jìn)行負(fù)載調(diào)度處理。

在本發(fā)明的一種具體實(shí)施方式中，所述設(shè)備拓?fù)浣Y(jié)構(gòu)圖的建立過程包括：

遍歷所述混合異構(gòu)分布式計(jì)算系統(tǒng)中各計(jì)算節(jié)點(diǎn)，得到由各所述計(jì)算節(jié)點(diǎn)中各所述計(jì)算設(shè)備構(gòu)成的設(shè)備集合；

對(duì)所述設(shè)備集合中的各所述計(jì)算設(shè)備進(jìn)行編號(hào)操作，得到各所述計(jì)算設(shè)備分別對(duì)應(yīng)的設(shè)備編號(hào)信息；