[發(fā)明專(zhuān)利]確定硬件運(yùn)算平臺(tái)分配方式的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911292959.6
• 申請(qǐng)日: 2019-12-16
• 公開(kāi)（公告）號(hào): CN112988372B
• 公開(kāi)（公告）日: 2023-10-24
• 發(fā)明（設(shè)計(jì)）人: 韓新承
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50;G06N3/0464;G06N3/048;G06N3/08;G06N20/10
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 李珂珂

1.一種確定硬件運(yùn)算平臺(tái)分配方式的方法，其特征在于，所述方法包括：

確定待運(yùn)行的機(jī)器學(xué)習(xí)模型中包括的多個(gè)計(jì)算節(jié)點(diǎn)，其中，每個(gè)計(jì)算節(jié)點(diǎn)對(duì)應(yīng)所述機(jī)器學(xué)習(xí)模型中的一個(gè)網(wǎng)絡(luò)層；

獲取所述多個(gè)計(jì)算節(jié)點(diǎn)對(duì)應(yīng)的多組樣本平臺(tái)配置信息，其中，每組樣本平臺(tái)配置信息對(duì)應(yīng)一種將所述多個(gè)計(jì)算節(jié)點(diǎn)分配到多個(gè)預(yù)設(shè)的硬件運(yùn)算平臺(tái)的分配方式；

對(duì)于每組樣本平臺(tái)配置信息，基于所述樣本平臺(tái)配置信息控制將所述多個(gè)計(jì)算節(jié)點(diǎn)分配到各硬件運(yùn)算平臺(tái)，控制所述各硬件運(yùn)算平臺(tái)執(zhí)行分配到的各計(jì)算節(jié)點(diǎn)，統(tǒng)計(jì)所述各硬件運(yùn)算平臺(tái)執(zhí)行所述多個(gè)計(jì)算節(jié)點(diǎn)的總執(zhí)行時(shí)長(zhǎng)，作為所述樣本平臺(tái)配置信息對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)；

基于所述多組樣本平臺(tái)配置信息和分別對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)，確定優(yōu)化平臺(tái)配置信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述多組樣本平臺(tái)配置信息和分別對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)，確定優(yōu)化平臺(tái)配置信息，包括：

確定所述多個(gè)計(jì)算節(jié)點(diǎn)對(duì)應(yīng)的所有樣本平臺(tái)配置信息的數(shù)目；

如果所述數(shù)目大于或者等于預(yù)設(shè)數(shù)目閾值，則基于所述多組樣本平臺(tái)配置信息和分別對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)、以及預(yù)設(shè)的平臺(tái)配置信息優(yōu)化方法，確定優(yōu)化平臺(tái)配置信息；

如果所述數(shù)目小于所述預(yù)設(shè)數(shù)目閾值，則在所有樣本平臺(tái)配置信息中，確定對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)最短的優(yōu)化平臺(tái)配置信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述多組樣本平臺(tái)配置信息和分別對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)、以及預(yù)設(shè)的平臺(tái)配置信息優(yōu)化方法，確定優(yōu)化平臺(tái)配置信息，包括：

獲取待訓(xùn)練的配置優(yōu)化器模型；

基于所述多組樣本平臺(tái)配置信息和分別對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)，對(duì)所述待訓(xùn)練的配置優(yōu)化器模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的配置優(yōu)化器模型；

基于所述訓(xùn)練后的配置優(yōu)化器模型，確定優(yōu)化平臺(tái)配置信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述機(jī)器學(xué)習(xí)模型對(duì)應(yīng)的運(yùn)行代碼；

基于所述優(yōu)化平臺(tái)配置信息，對(duì)所述運(yùn)行代碼進(jìn)行優(yōu)化處理。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述優(yōu)化平臺(tái)配置信息，對(duì)所述運(yùn)行代碼進(jìn)行優(yōu)化處理，包括：

基于預(yù)設(shè)的硬件運(yùn)算平臺(tái)的類(lèi)型、計(jì)算節(jié)點(diǎn)的類(lèi)型和優(yōu)化處理方式之間的對(duì)應(yīng)關(guān)系，確定所述優(yōu)化平臺(tái)配置信息對(duì)應(yīng)的至少一種優(yōu)化處理方式；

基于所述至少一種優(yōu)化處理方式，對(duì)所述運(yùn)行代碼進(jìn)行優(yōu)化處理。

6.一種確定硬件運(yùn)算平臺(tái)分配方式的裝置，其特征在于，所述裝置包括：

確定模塊，用于確定待運(yùn)行的機(jī)器學(xué)習(xí)模型中包括的多個(gè)計(jì)算節(jié)點(diǎn)，其中，每個(gè)計(jì)算節(jié)點(diǎn)對(duì)應(yīng)所述機(jī)器學(xué)習(xí)模型中的一個(gè)網(wǎng)絡(luò)層；

獲取模塊，用于獲取所述多個(gè)計(jì)算節(jié)點(diǎn)對(duì)應(yīng)的多組樣本平臺(tái)配置信息，其中，每組樣本平臺(tái)配置信息對(duì)應(yīng)一種將所述多個(gè)計(jì)算節(jié)點(diǎn)分配到多個(gè)預(yù)設(shè)的硬件運(yùn)算平臺(tái)的分配方式；

執(zhí)行模塊，用于對(duì)于每組樣本平臺(tái)配置信息，基于所述樣本平臺(tái)配置信息控制將所述多個(gè)計(jì)算節(jié)點(diǎn)分配到各硬件運(yùn)算平臺(tái)，控制所述各硬件運(yùn)算平臺(tái)執(zhí)行分配到的各計(jì)算節(jié)點(diǎn)，統(tǒng)計(jì)所述各硬件運(yùn)算平臺(tái)執(zhí)行所述多個(gè)計(jì)算節(jié)點(diǎn)的總執(zhí)行時(shí)長(zhǎng)，作為所述樣本平臺(tái)配置信息對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)；

所述確定模塊，用于基于所述多組樣本平臺(tái)配置信息和分別對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)，確定優(yōu)化平臺(tái)配置信息。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述確定模塊，用于：

確定所述多個(gè)計(jì)算節(jié)點(diǎn)對(duì)應(yīng)的所有樣本平臺(tái)配置信息的數(shù)目；

如果所述數(shù)目大于或者等于預(yù)設(shè)數(shù)目閾值，則基于所述多組樣本平臺(tái)配置信息和分別對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)、以及預(yù)設(shè)的平臺(tái)配置信息優(yōu)化裝置，確定優(yōu)化平臺(tái)配置信息；

如果所述數(shù)目小于所述預(yù)設(shè)數(shù)目閾值，則在所有樣本平臺(tái)配置信息中，確定對(duì)應(yīng)的總執(zhí)行時(shí)長(zhǎng)最短的優(yōu)化平臺(tái)配置信息。