[發明專利]一種AI芯片的運行方式的確定方法和裝置

有效

• 申請號: 202010462971.3
• 申請日: 2020-05-27
• 公開（公告）號: CN113743598B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 周智強;葉挺群
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;馬敬

本申請實施例提供了一種AI芯片的運行方式的確定方法和裝置，方法包括：獲得目標神經網絡模型；獲得AI芯片支持的運行方式的不同組合，每種組合包括：目標神經網絡模型中的各個網絡層的運行方式；使得AI芯片基于不同組合，用目標神經網絡模型對第一預設測試數據進行多次處理；獲得AI芯片每次對第一預設測試數據處理完成所用的第一處理時長；選擇第一處理時長最短的組合中包括的運行方式，確定為基于目標神經網絡模型對數據進行處理時，AI芯片的運行方式，基于上述處理，能夠提高基于神經網絡模型進行數據處理的效率。

技術領域

本申請涉及人工智能技術領域，特別是涉及一種AI芯片的運行方式的確定方法和裝置。

背景技術

隨著人工智能技術的快速發展，神經網絡模型的應用也越來越廣泛。用神經網絡模型對數據進行處理，目前都是通過在AI(Artificial?Intelligence，人工智能)芯片，如MLU(Machine?Learning?Processor，機器學習處理器)、DaVinci(達芬奇)、GPU(GraphicsProcessing?Unit，圖形處理器)等芯片上運行神經網絡模型對應的算法實現的。

目前，主流的AI芯片都會搭載處理能力不同的專用計算單元和通用計算單元。對運行神經網絡模型的AI芯片來說，專用計算單元可以執行特定網絡層的算法(例如，卷積層、全連接層等與矩陣乘法相關的網絡層的算法)，通用計算單元可以執行神經網絡模型中每一網絡層的算法。

另外，AI芯片在運行神經網絡模型中的一個網絡層的算法時，也支持不同的數據存儲格式，例如：NHWC(Number?Height?Width?Channel，數量高度寬度通道)存儲格式，或NCHW(Number?Channel?Height?Width，數量通道高度寬度)存儲格式。

可見，在AI芯片上運行神經網絡模型對應的算法，可以有多種運行方式，如：神經網絡模型中的各個網絡層用專用計算單元執行或是通用計算單元，以及在運行各個網絡層的算法時，用NHWC存儲格式或NCHW存儲格式等。

通常針對神經網絡模型中的每一網絡層，采用指定的數據存儲格式和指定類型的計算單元對數據進行處理。由于不同類型的計算單元的處理能力不同，且相同類型的計算單元對不同數據存儲格式的數據的處理能力也不同，因此，這種方法可能會出現處理能力低的計算單元運行比較復雜的網絡層的算法的情況，進而導致數據處理的效率不夠高。

發明內容

本申請實施例的目的在于提供一種AI芯片的運行方式的確定方法和裝置，可以提高基于神經網絡模型進行數據處理的效率。具體技術方案如下：

第一方面，為了達到上述目的，本申請實施例公開了一種AI芯片的運行方式的確定方法，所述方法包括：

獲得目標神經網絡模型；

獲得AI芯片支持的運行方式的不同組合，其中，每種組合中包括：所述目標神經網絡模型中的各個網絡層的運行方式；每個網絡層的運行方式包括：所述AI芯片中執行該網絡層的算法的計算單元，和/或，所述AI芯片中的計算單元執行該網絡層的算法時采用的數據存儲格式；使得所述AI芯片基于所述不同組合，用所述目標神經網絡模型對第一預設測試數據進行多次處理；

獲得所述AI芯片每次對所述第一預設測試數據處理完成所用的第一處理時長；

選擇第一處理時長最短的組合中包括的運行方式，確定為基于所述目標神經網絡模型對數據進行處理時，所述AI芯片的運行方式。

可選的，所述獲得AI芯片支持的運行方式的不同組合，包括：

確定所述目標神經網絡模型中符合第一預設條件的網絡層，作為第一網絡層；

獲得所述第一網絡層支持的運行方式的不同子組合；其中，每種子組合中包括：各個第一網絡層的運行方式；