[發(fā)明專利]一種模型部署方法、裝置、設(shè)備及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011087569.8
• 申請日: 2020-10-12
• 公開（公告）號: CN114356538A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 俞清華;江繼勇;楊仁志;隋志成;劉默翰;毛峰;周力
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強;李稷芳

1.一種模型部署方法，其特征在于，所述方法包括：

將推理模型切分為多個目標(biāo)模塊；

根據(jù)目標(biāo)芯片的數(shù)量得到至少一個候選組合，每個所述候選組合包括各個所述目標(biāo)模塊與目標(biāo)芯片的對應(yīng)關(guān)系，目標(biāo)芯片的數(shù)量為大于1的整數(shù)；

從所述至少一個候選組合確定一個或多個第一候選組合，所述第一候選組合為所述至少一個候選組合中第一性能指標(biāo)滿足第一性能指標(biāo)閾值的候選組合；

從所述一個或多個第一候選組合中確定第二候選組合，所述第二候選組合為所述一個或多個第一候選組合中第二性能指標(biāo)最小的第一候選組合。

2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述將推理模型切分為多個目標(biāo)模塊，包括：

根據(jù)所述推理模型中的各個算子之間的連接結(jié)構(gòu)特性和/或數(shù)據(jù)傳輸特性，將所述推理模型切分為多個目標(biāo)模塊。

3.根據(jù)權(quán)利要求1或2所述方法，其特征在于，所述根據(jù)目標(biāo)芯片的數(shù)量得到至少一個候選組合，包括：

根據(jù)目標(biāo)芯片的數(shù)量和所述多個目標(biāo)模塊中各個目標(biāo)模塊之間的連接結(jié)構(gòu)特性和/或數(shù)據(jù)傳輸特性，得到至少一個候選組合。

4.根據(jù)權(quán)利要求1～3中任意一項所述方法，其特征在于，所述目標(biāo)模塊包括從所述至少一個候選組合確定一個或多個第一候選組合之前，所述方法還包括：

根據(jù)各個所述目標(biāo)模塊中的算子在所述目標(biāo)芯片上的第一性能指標(biāo)和第二性能指標(biāo)，確定各個所述目標(biāo)模塊在所述目標(biāo)芯片上的第一性能指標(biāo)和第二性能指標(biāo)；

根據(jù)每個所述候選組合中的目標(biāo)模塊在所述目標(biāo)芯片上的第一性能指標(biāo)和第二性能指標(biāo)，確定每個所述候選組合的第一性能指標(biāo)和第二性能指標(biāo)。

5.根據(jù)權(quán)利要求4所述方法，其特征在于，所述根據(jù)各個所述目標(biāo)模塊中的算子在所述目標(biāo)芯片上的第一性能指標(biāo)和第二性能指標(biāo)，確定各個所述目標(biāo)模塊在所述目標(biāo)芯片上的第一性能指標(biāo)和第二性能指標(biāo)，包括：

針對各個所述目標(biāo)模塊，若所述目標(biāo)模塊包括的各個算子之間的連接結(jié)構(gòu)特性為并行連接結(jié)構(gòu)，則將第一目標(biāo)算子在目標(biāo)芯片上的第一性能指標(biāo)確定為所述目標(biāo)模塊在所述目標(biāo)芯片上的第一性能指標(biāo)，將第二目標(biāo)算子在目標(biāo)芯片上的第二性能指標(biāo)確定為所述目標(biāo)模塊在所述目標(biāo)芯片上的第二性能指標(biāo)，所述第一目標(biāo)算子的第一性能指標(biāo)為所述目標(biāo)模塊包括的至少一個算子的第一性能指標(biāo)的最大值，所述第二目標(biāo)算子的第二性能指標(biāo)為所述目標(biāo)模塊包括的至少一個算子的第二性能指標(biāo)的最大值。

6.根據(jù)權(quán)利要求4或5所述方法，其特征在于，根據(jù)每個所述候選組合中的目標(biāo)模塊在所述目標(biāo)芯片上的第一性能指標(biāo)和第二性能指標(biāo)，確定每個所述候選組合的第一性能指標(biāo)和第二性能指標(biāo)，包括：

根據(jù)所述每個候選組合包括的目標(biāo)模塊在各個所述目標(biāo)芯片上的第一性能指標(biāo)和第二性能指標(biāo)，以及所述各個所述目標(biāo)芯片之間的數(shù)據(jù)傳輸時間，確定所述每個候選組合的第一性能指標(biāo)和第二性能指標(biāo)。

7.一種模型部署裝置，其特征在于，所述裝置包括：

切分單元，用于將推理模型切分為多個目標(biāo)模塊；

分析單元，用于根據(jù)目標(biāo)芯片的數(shù)量得到至少一個候選組合，每個所述候選組合包括各個所述目標(biāo)模塊與目標(biāo)芯片的對應(yīng)關(guān)系，目標(biāo)芯片的數(shù)量為大于1的整數(shù)；

確定單元，用于從所述至少一個候選組合確定一個或多個第一候選組合，所述第一候選組合為所述至少一個候選組合中第一性能指標(biāo)滿足第一性能指標(biāo)閾值的候選組合；

所述確定單元，還用于從所述一個或多個第一候選組合中確定第二候選組合，所述第二候選組合為所述一個或多個第一候選組合中第二性能指標(biāo)最小的第一候選組合。

8.根據(jù)權(quán)利要求7所述裝置，其特征在于，所述切分單元，具體用于：

根據(jù)所述推理模型中的各個算子之間的連接結(jié)構(gòu)特性和/或數(shù)據(jù)傳輸特性，將所述推理模型切分為多個目標(biāo)模塊。