[發(fā)明專(zhuān)利]調(diào)度方法及相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010118354.1
• 申請(qǐng)日: 2017-12-28
• 公開(kāi)（公告）號(hào): CN111338776A
• 公開(kāi)（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類(lèi)號(hào): G06F9/48
• 分類(lèi)號(hào): G06F9/48;G06F9/50;G06N3/063;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專(zhuān)利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng)

1.一種調(diào)度方法，其特征在于，所述方法基于包含多個(gè)計(jì)算裝置的服務(wù)器，所述方法包括：

接收M個(gè)運(yùn)算請(qǐng)求，所述M為正整數(shù)；

根據(jù)所述M個(gè)運(yùn)算請(qǐng)求中每一運(yùn)算請(qǐng)求的屬性信息從所述多個(gè)計(jì)算裝置中選取至少一個(gè)目標(biāo)計(jì)算裝置，并確定所述至少一個(gè)目標(biāo)計(jì)算裝置中每一目標(biāo)計(jì)算裝置對(duì)應(yīng)的運(yùn)算指令；

根據(jù)所述至少一個(gè)目標(biāo)計(jì)算裝置中每一目標(biāo)計(jì)算裝置對(duì)應(yīng)的運(yùn)算指令對(duì)所述M個(gè)運(yùn)算請(qǐng)求對(duì)應(yīng)的運(yùn)算數(shù)據(jù)進(jìn)行計(jì)算，得到M個(gè)最終運(yùn)算結(jié)果；

將所述M個(gè)最終運(yùn)算結(jié)果中每一最終運(yùn)算結(jié)果發(fā)送至對(duì)應(yīng)的電子設(shè)備。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述屬性信息包括目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，所述至少一個(gè)目標(biāo)計(jì)算裝置為多個(gè)并行計(jì)算裝置和至少一個(gè)串行計(jì)算裝置，所述根據(jù)所述M個(gè)運(yùn)算請(qǐng)求中每一運(yùn)算請(qǐng)求的屬性信息從所述多個(gè)計(jì)算裝置中選取至少一個(gè)目標(biāo)計(jì)算裝置，并確定所述至少一個(gè)目標(biāo)計(jì)算裝置中每一目標(biāo)計(jì)算裝置對(duì)應(yīng)的運(yùn)算指令，包括：

若所述M為1，獲取所述運(yùn)算請(qǐng)求對(duì)應(yīng)的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的指令流；

將所述指令流拆分為多個(gè)并行指令和多個(gè)串行指令；

從所述多個(gè)計(jì)算裝置中選取與所述多個(gè)并行指令對(duì)應(yīng)的所述多個(gè)并行計(jì)算裝置和與所述多個(gè)串行指令對(duì)應(yīng)的所述至少一個(gè)串行計(jì)算裝置，并確定所述多個(gè)并行計(jì)算裝置中每一并行計(jì)算裝置的運(yùn)算指令為對(duì)應(yīng)的并行指令，確定所述至少一個(gè)串行計(jì)算裝置中每一串行計(jì)算裝置的運(yùn)算指令為對(duì)應(yīng)的串行指令。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取所述運(yùn)算請(qǐng)求對(duì)應(yīng)的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的指令流，包括：

根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的基本操作序列獲取第一指令描述符流；

對(duì)所述第一指令描述符流進(jìn)行簡(jiǎn)化，得到第二指令描述符流；

根據(jù)所述第二指令描述符流獲取所述指令流。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述從所述多個(gè)計(jì)算裝置中選取與所述多個(gè)串行指令對(duì)應(yīng)的所述至少一個(gè)串行計(jì)算裝置，包括：

對(duì)所述多個(gè)串行指令進(jìn)行分組，得到至少一組串行指令序列；

從所述多個(gè)計(jì)算裝置中選取與所述至少一組串行指令序列中每組串行指令序列對(duì)應(yīng)的計(jì)算裝置，得到所述至少一個(gè)串行計(jì)算裝置；所述從所述多個(gè)計(jì)算裝置中選取與所述多個(gè)并行指令對(duì)應(yīng)的所述多個(gè)并行計(jì)算裝置，包括：

若所述運(yùn)算請(qǐng)求為訓(xùn)練任務(wù)，基于所述運(yùn)算請(qǐng)求對(duì)應(yīng)的訓(xùn)練方法對(duì)所述運(yùn)算請(qǐng)求對(duì)應(yīng)的運(yùn)算數(shù)據(jù)進(jìn)行分組，得到多組運(yùn)算數(shù)據(jù)；

根據(jù)所述多組運(yùn)算數(shù)據(jù)和所述多個(gè)并行指令從所述多個(gè)計(jì)算裝置中選取所述多個(gè)并行計(jì)算裝置。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述屬性信息包括目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，所述至少一個(gè)目標(biāo)計(jì)算裝置為一個(gè)目標(biāo)并行計(jì)算裝置，所述根據(jù)所述M個(gè)運(yùn)算請(qǐng)求中每一運(yùn)算請(qǐng)求的屬性信息從所述多個(gè)計(jì)算裝置中選取至少一個(gè)目標(biāo)計(jì)算裝置，并確定所述至少一個(gè)目標(biāo)計(jì)算裝置中每一目標(biāo)計(jì)算裝置對(duì)應(yīng)的運(yùn)算指令，包括：

若所述M大于1，且所述M個(gè)運(yùn)算請(qǐng)求對(duì)應(yīng)一個(gè)目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，從所述多個(gè)計(jì)算裝置中選取與所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的所述目標(biāo)并行計(jì)算裝置，并確定所述目標(biāo)并行計(jì)算裝置的運(yùn)算指令為并行運(yùn)算所述M個(gè)運(yùn)算請(qǐng)求。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述屬性信息包括目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，所述至少一個(gè)目標(biāo)計(jì)算裝置為多個(gè)目標(biāo)串行計(jì)算裝置，所述根據(jù)所述M個(gè)運(yùn)算請(qǐng)求中每一運(yùn)算請(qǐng)求的屬性信息從所述多個(gè)計(jì)算裝置中選取至少一個(gè)目標(biāo)計(jì)算裝置，并確定所述至少一個(gè)目標(biāo)計(jì)算裝置中每一目標(biāo)計(jì)算裝置對(duì)應(yīng)的運(yùn)算指令，包括：

若所述M大于1，且所述M個(gè)運(yùn)算請(qǐng)求對(duì)應(yīng)多個(gè)目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，從所述多個(gè)計(jì)算裝置中選取與多個(gè)目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中每一目標(biāo)神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的所述多個(gè)目標(biāo)串行計(jì)算裝置，并確定所述多個(gè)目標(biāo)串行計(jì)算裝置中每一目標(biāo)串行計(jì)算裝置對(duì)應(yīng)的運(yùn)算指令為執(zhí)行該目標(biāo)串行計(jì)算裝置對(duì)應(yīng)的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型所對(duì)應(yīng)的運(yùn)算請(qǐng)求。