[發明專利]一種神經網絡處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201910910117.6
• 申請日: 2019-09-24
• 公開（公告）號: CN110674936A
• 公開（公告）日: 2020-01-10
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06F9/48;G06F9/50
• 代理公司: 44202 廣州三環專利商標代理有限公司
• 代理人: 郝傳鑫;熊永強

1.一種神經網絡處理方法，其特征在于，所述方法應用于人工智能處理器，所述人工智能處理器包括M個人工智能處理器核，M為大于1的正整數；所述方法包括：

獲取神經網絡模型對應的計算圖；其中，所述計算圖中包含多個算子；

在拆分策略集合中確定所述神經網絡計算任務的目標拆分策略；其中，所述拆分策略集合為所述計算圖中目標算子對應的拆分方式組成的集合；

根據所述目標拆分策略對所述神經網絡計算任務進行拆分，得到多個子計算任務；

將所述子計算任務分配到人工智能處理器中的對應人工智能處理器核上進行處理。

2.根據權利要求1所述的方法，其特征在于，所述獲取神經網絡模型對應的計算圖之后，所述在拆分策略集合中確定所述神經網絡計算任務的目標拆分策略之前，還包括：

根據所述計算圖中目標算子對應的并行度、拆分維度、拆分維度大小確定所述目標算子對應的拆分方式；

根據所述目標算子對應的拆分方式確定所述拆分策略集合。

3.根據權利要求2所述的方法，其特征在于，所述根據所述目標算子對應的拆分方式確定所述拆分策略集合，包括：

將每個目標算子支持的拆分方式的交集確定為所述拆分策略集合。

4.根據權利要求1所述的方法，其特征在于，所述在拆分策略集合中確定所述神經網絡計算任務的目標拆分策略，包括：

分別確定所述拆分策略集合中目標算子對應的拆分方式的權重值；

根據權重值確定所述目標拆分策略。

5.根據權利要求4所述的方法，其特征在于，所述權重值為根據拆分策略中包含的目標算子的運算操作類型、目標算子涉及的數據規模和多核處理器的硬件參數確定的。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述方法還包括：

獲取目標算子的運算操作類型；

根據所述目標算子的運算操作類型確定所述目標算子的拆分方式。

7.根據權利要求2所述的方法，其特征在于，所述目標算子對應的并行度包括第一并行度或第二并行度。

8.根據權利要求2所述的方法，其特征在于，所述目標算子對應的并行度包括第一并行度和第二并行度；其中，所述第一并行度乘以第二并行度的結果小于等于人工智能處理器中的人工智能處理器核的數目。

9.一種神經網絡處理裝置，其特征在于，所述裝置應用于人工智能處理器，所述人工智能處理器包括M個人工智能處理器核，M為大于1的正整數；所述裝置包括：

第一獲取單元，用于獲取神經網絡模型對應的計算圖；其中，所述神經網絡模型包含多個算子；

第一確定單元，用于在拆分策略集合中確定所述神經網絡計算任務的目標拆分策略；其中，所述拆分策略集合為所述計算圖中目標算子對應的拆分方式組成的集合；

拆分單元，用于根據所述目標拆分策略對所述神經網絡計算任務進行拆分，得到多個子計算任務；

執行單元，用于將所述子計算任務分配到人工智能處理器中的對應人工智能處理器核上進行處理。

10.根據權利要求9所述的裝置，其特征在于，所述裝置還包括：

第二確定單元，用于根據計算圖中目標算子對應的并行度、拆分維度、拆分維度大小確定所述目標算子對應的拆分方式；

第三確定單元，用于根據所述目標算子對應的拆分方式確定所述拆分策略集合。

11.根據權利要求10所述的裝置，其特征在于，所述第三確定單元具體用于：

將每個目標算子支持的拆分方式的交集確定為所述拆分策略集合。