[發明專利]網絡離線模型的處理方法、人工智能處理裝置及相關產品

有效

• 申請號: 202010422462.8
• 申請日: 2018-12-29
• 公開（公告）號: CN111694617B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F9/448
• 分類號: G06F9/448;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種網絡離線模型的處理方法，其特征在于，所述方法包括：

獲取網絡離線模型中各子網絡的運行單元信息，所述運行單元信息包括子網絡與運行單元類型之間的對應關系，所述運行單元類型包括通用處理單元類型或人工智能處理單元類型；

根據所述運行單元信息，在構建的所述網絡離線模型中定義子網絡運行參數，得到構建后的網絡離線模型，所述子網絡運行參數用于表示各子網絡的運行單元類型；

所述方法還包括：

執行所述構建后的網絡離線模型，具體包括：

根據所述子網絡運行參數，確定目標子網絡對應的運行單元，所述目標子網絡為所述網絡離線模型的任一子網絡；

將所述目標子網絡在對應的運行單元上執行，以執行所述網絡離線模型；

若所述目標子網絡對應的運行單元為人工智能處理單元，所述將所述目標子網絡在對應的運行單元上執行，以執行所述網絡離線模型，包括：

從所述網絡離線模型中讀取與該目標子網絡對應的離線指令；

解析該離線指令，得到該離線指令中的模型并行度；

依據所述模型并行度確定與所述目標子網絡對應的人工智能處理單元；以及

在調用底層庫接口時，獲取從所述底層庫接口傳入的通道標識；

根據所述通道標識確定所述人工智能處理單元傳輸數據的通道；

通過所述通道將所述目標子網絡在所述人工智能處理單元上執行，以執行所述網絡離線模型。

2.根據權利要求1所述的方法，其特征在于，各子網絡包括融合后的多個網絡層。

3.根據權利要求1所述的方法，其特征在于，所述子網絡運行參數包括子網絡名稱、運行單元類型信息和子網絡參數信息。

4.一種人工智能處理裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取網絡離線模型中各子網絡的運行單元信息，所述運行單元信息包括子網絡與運行單元類型之間的對應關系，所述運行單元類型包括通用處理單元類型或人工智能處理單元類型；

構建模塊，用于根據所述運行單元信息，在構建的所述網絡離線模型中定義子網絡運行參數，得到構建后的網絡離線模型，所述子網絡運行參數用于表示各子網絡的運行單元類型；

所述裝置還包括：執行模塊；

所述執行模塊，用于執行所述構建后的網絡離線模型，具體用于：

從所述網絡離線模型中讀取與目標子網絡對應的離線指令；

解析該離線指令，得到該離線指令中的模型并行度；

依據所述模型并行度確定與所述目標子網絡對應的人工智能處理單元；以及

根據所述子網絡運行參數，確定目標子網絡對應的運行單元，所述目標子網絡為所述網絡離線模型的任一子網絡；

將所述目標子網絡在對應的運行單元上執行，以執行所述網絡離線模型；

若所述目標子網絡對應的運行單元為人工智能處理單元，在將所述目標子網絡在對應的運行單元上執行，以執行所述網絡離線模型，所述執行模塊，具體用于：

在調用底層庫接口時，獲取從所述底層庫接口傳入的通道標識；

根據所述通道標識確定所述人工智能處理單元傳輸數據的通道；

通過所述通道將所述目標子網絡在所述人工智能處理單元上執行，以執行所述網絡離線模型。

5.根據權利要求4所述的裝置，其特征在于，各個子網絡包括融合后的多個網絡層。

6.根據權利要求4所述的裝置，其特征在于，所述子網絡運行參數包括子網絡名稱、運行單元類型信息和子網絡參數信息。

7.一種計算機設備，包括存儲器、處理器，所述存儲器上存儲有可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至3中任一項所述方法的步驟。

8.一種可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至3中任一項所述方法的步驟。