[發明專利]一種神經網絡模型的拆分方法及相關產品

有效

• 申請號: 201910114927.0
• 申請日: 2019-02-14
• 公開（公告）號: CN111563584B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京華進京聯知識產權代理有限公司 11606
• 代理人: 孫巖

1.一種用多核處理器實現的神經網絡模型計算的數據拆分方法，其特征在于，所述方法包括：

根據所述神經網絡模型中目標層的算子，確定與所述目標層的算子關聯的張量數據的拆分狀態集合；其中，所述目標層為所述神經網絡模型中的至少一層；

根據所述神經網絡模型的有向無環圖遍歷所述拆分狀態集合，確定相鄰拆分狀態集合之間的狀態路徑及狀態路徑的權重；其中，所述狀態路徑表示所述算子的張量數據的拆分方式；所述拆分狀態集合中的每個狀態表示一個子張量數據集合，所述狀態的所有子張量數據的并集結果為所述張量數據；

根據所述狀態路徑的權重，確定所述目標層的張量數據的目標拆分路徑；其中，所述狀態路徑的權重是執行子任務的所花費的時間；或執行子任務的吞吐量；或通過實際測量在所述多核處理器上執行所述狀態路徑對應的算子拆分方式下的所有子任務的時間來確定；

利用所述目標拆分路徑對所述神經網絡模型的目標層的算子的張量數據進行拆分，以分配到多核處理器的各核進行運算。

2.如權利要求1所述的方法，其特征在于，確定所述目標層的張量數據的目標拆分路徑的步驟包括：

遍歷所述目標層的張量數據的所有拆分狀態集合，對當前拆分狀態集合，遍歷每一狀態，獲得所有指向當前狀態的狀態路徑以及所述狀態路徑的起始狀態到所述目標層的輸入張量數據的起始狀態的拆分路徑；

根據所述狀態路徑的權重和所述拆分路徑的權重確定所述當前狀態到所述目標層的輸入張量數據的起始狀態的拆分路徑；其中，所述拆分路徑的權重根據所述拆分路徑對應的所有狀態路徑的權重確定；

遍歷完所述目標層的張量數據的所有拆分狀態集合后，獲得所述目標層的輸入張量數據的拆分狀態集合與所述目標層的輸出張量數據的拆分狀態集合之間的目標拆分路徑。

3.如權利要求1所述的方法，其特征在于，確定所述目標層的張量數據的目標拆分路徑的步驟包括：

遍歷所述目標層的張量數據的所有拆分狀態集合，對當前拆分狀態集合，遍歷每一狀態，獲得所有以當前狀態為起點的狀態路徑以及所述狀態路徑的結束狀態到所述目標層的輸出張量數據的終止狀態的拆分路徑；

根據所述狀態路徑的權重和所述拆分路徑的權重確定所述當前狀態到所述目標層的輸出張量數據的終止狀態的拆分路徑；其中，所述拆分路徑的權重根據所述拆分路徑對應的所有狀態路徑的權重確定；

遍歷完所述目標層的張量數據的所有拆分狀態集合后，獲得所述目標層的輸入張量數據的拆分狀態集合與所述目標層的輸出張量數據的拆分狀態集合之間的目標拆分路徑。

4.如權利要求1所述的方法，其特征在于，所述神經網絡模型的目標層的算子拆分后獲得的子算子數量為2的整數次冪。

5.如權利要求1所述的方法，其特征在于，所述神經網絡模型的目標層的算子的輸入張量數據的拆分狀態集合中的狀態根據所述算子的計算邏輯和對應輸出張量數據的拆分狀態集合中的狀態確定。

6.如權利要求1所述的方法，其特征在于，所述神經網絡模型的目標層的算子的輸出張量數據的拆分狀態集合中的狀態根據所述算子的計算邏輯和對應輸入張量數據的拆分狀態集合中的狀態確定。

7.如權利要求1所述的方法，其特征在于，還包括：

在正向遍歷階段，當所述算子的輸出張量數據被至少兩個算子作為輸入張量數據，或者所述算子具有至少兩個輸出張量數據時，所述算子的輸出張量數據的拆分狀態集合中保留一個拆分狀態，且所述拆分狀態經由所述算子的同一狀態路徑確定。

8.如權利要求1所述的方法，其特征在于，還包括：

在反向遍歷階段，當所述算子具有至少兩個輸入張量數據時，所述算子的輸入張量數據的拆分狀態集合中保留一個拆分狀態，且所述拆分狀態經由所述算子的同一狀態路徑確定。

9.如權利要求1所述的方法，其特征在于，所述狀態路徑的權重根據算子的類型和規模、多核處理器硬件參數確定。