[發(fā)明專利]網(wǎng)絡離線模型的處理方法、人工智能處理裝置及相關(guān)產(chǎn)品

有效

• 申請?zhí)枺?/td>: 201811646109.7
• 申請日: 2018-12-29
• 公開（公告）號: CN109754072B
• 公開（公告）日: 2020-06-23
• 發(fā)明（設計）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種網(wǎng)絡離線模型的處理方法，其特征在于，所述方法包括：

獲取網(wǎng)絡離線模型中各子網(wǎng)絡的運行單元信息，所述運行單元信息包括子網(wǎng)絡與運行單元類型之間的對應關(guān)系，所述運行單元類型包括通用處理單元類型或人工智能處理單元類型；

根據(jù)所述運行單元信息，在構(gòu)建的所述網(wǎng)絡離線模型中定義子網(wǎng)絡運行參數(shù)，得到構(gòu)建后的網(wǎng)絡離線模型，所述子網(wǎng)絡運行參數(shù)用于表示各子網(wǎng)絡的運行單元類型；

所述方法還包括：

執(zhí)行所述構(gòu)建后的網(wǎng)絡離線模型，具體包括：

根據(jù)所述子網(wǎng)絡運行參數(shù)，確定目標子網(wǎng)絡對應的運行單元，所述目標子網(wǎng)絡為所述網(wǎng)絡離線模型的任一子網(wǎng)絡；

將所述目標子網(wǎng)絡在對應的運行單元上執(zhí)行，以執(zhí)行所述網(wǎng)絡離線模型；

若所述目標子網(wǎng)絡對應的運行單元為人工智能處理單元，所述根據(jù)所述子網(wǎng)絡運行參數(shù)，確定目標子網(wǎng)絡對應的運行單元，包括：

獲取所述網(wǎng)絡離線模型的模型并行度；

根據(jù)人工智能處理單元調(diào)度機制、所述模型并行度和所述子網(wǎng)絡運行參數(shù)，確定所述目標子網(wǎng)絡對應的人工智能處理單元。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，各子網(wǎng)絡包括融合后的多個網(wǎng)絡層。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述子網(wǎng)絡運行參數(shù)包括子網(wǎng)絡名稱、運行單元類型信息和子網(wǎng)絡參數(shù)信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，若所述目標子網(wǎng)絡對應的運行單元為人工智能處理單元，所述將所述目標子網(wǎng)絡在對應的運行單元上執(zhí)行，以執(zhí)行所述網(wǎng)絡離線模型，包括：

在調(diào)用底層庫接口時，獲取從所述底層庫接口傳入的通道標識；

根據(jù)所述通道標識確定所述人工智能處理單元傳輸數(shù)據(jù)的通道；

通過所述通道將所述目標子網(wǎng)絡在所述人工智能處理單元上執(zhí)行，以執(zhí)行所述網(wǎng)絡離線模型。

5.一種人工智能處理裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取網(wǎng)絡離線模型中各子網(wǎng)絡的運行單元信息，所述運行單元信息包括子網(wǎng)絡與運行單元類型之間的對應關(guān)系，所述運行單元類型包括通用處理單元類型或人工智能處理單元類型；

構(gòu)建模塊，用于根據(jù)所述運行單元信息，在構(gòu)建的所述網(wǎng)絡離線模型中定義子網(wǎng)絡運行參數(shù)，得到構(gòu)建后的網(wǎng)絡離線模型，所述子網(wǎng)絡運行參數(shù)用于表示各子網(wǎng)絡的運行單元類型；

所述裝置還包括：執(zhí)行模塊；

所述執(zhí)行模塊，用于執(zhí)行所述構(gòu)建后的網(wǎng)絡離線模型，具體用于：

根據(jù)所述子網(wǎng)絡運行參數(shù)，確定目標子網(wǎng)絡對應的運行單元，所述目標子網(wǎng)絡為所述網(wǎng)絡離線模型的任一子網(wǎng)絡；

將所述目標子網(wǎng)絡在對應的運行單元上執(zhí)行，以執(zhí)行所述網(wǎng)絡離線模型；

若所述目標子網(wǎng)絡對應的運行單元為人工智能處理單元，在根據(jù)所述子網(wǎng)絡運行參數(shù)，確定目標子網(wǎng)絡對應的運行單元，所述執(zhí)行模塊，具體用于：

獲取所述網(wǎng)絡離線模型的模型并行度；

根據(jù)人工智能處理單元調(diào)度機制、所述模型并行度和所述子網(wǎng)絡運行參數(shù)，確定所述目標子網(wǎng)絡對應的人工智能處理單元。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，各個子網(wǎng)絡包括融合后的多個網(wǎng)絡層。

7.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述子網(wǎng)絡運行參數(shù)包括子網(wǎng)絡名稱、運行單元類型信息和子網(wǎng)絡參數(shù)信息。

8.根據(jù)權(quán)利要求5所述的裝置，其特征在于，若所述目標子網(wǎng)絡對應的運行單元為人工智能處理單元，在將所述目標子網(wǎng)絡在對應的運行單元上執(zhí)行，以執(zhí)行所述網(wǎng)絡離線模型，所述執(zhí)行模塊，具體用于：

在調(diào)用底層庫接口時，獲取從所述底層庫接口傳入的通道標識；

根據(jù)所述通道標識確定所述人工智能處理單元傳輸數(shù)據(jù)的通道；

通過所述通道將所述目標子網(wǎng)絡在所述人工智能處理單元上執(zhí)行，以執(zhí)行所述網(wǎng)絡離線模型。