[發明專利]生成指令序列的方法、執行神經網絡運算的方法和裝置

有效

• 申請號: 201910190559.8
• 申請日: 2019-03-13
• 公開（公告）號: CN109919311B
• 公開（公告）日: 2020-04-10
• 發明（設計）人: 王振江;李建軍;凌坤;陳亮;黃暢
• 申請（專利權）人: 北京地平線機器人技術研發有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京市正見永申律師事務所 11497
• 代理人: 黃小臨;馮玉清

1.一種生成神經網絡的指令序列的方法，包括：

獲取神經網絡各層的屬性數據；

根據神經網絡各層的屬性數據，確定至少一個層級組及其拆分參數，所述層級組包括所述神經網絡中的至少一個層，所述拆分參數包括至少一個預定維度和每個預定維度將被切分成的預定份數；以及

根據神經網絡各層的屬性數據、所述至少一個層級組的拆分參數，生成所述神經網絡的指令序列；

其中，所述指令序列中包含所述至少一個層級組中各層的運算操作指令，所述運算操作指令中的輸出參數指示所述至少一個層級組的輸出特征數據，所述至少一個層級組的輸出特征數據由所述至少一個層級組的輸出特征圖在所述至少一個預定維度上劃分成所述預定份數而得到；

其中，所述確定至少一個層級組及其拆分參數，包括：

確定所述神經網絡的前(i-1)層的具有最小運算操作開銷的分組方式；以及

基于所述神經網絡的前(i-1)層的分組方式，確定所述神經網絡的前i層的具有最小運算操作開銷的分組方式，并且重復所述基于所述神經網絡的前(i-1)層的分組方式，確定所述神經網絡的前i層的具有最小運算操作開銷的分組方式的步驟直到確定所述神經網絡的具有最小運算操作開銷的分組方式，從而獲得與所述神經網絡的具有最小運算操作開銷的分組方式對應的至少一個層級組及其拆分參數，

其中，i為2至n的整數，n是所述神經網絡包括的層數。

2.根據權利要求1所述的方法，其中，基于所述神經網絡的前(i-1)層的分組方式，確定所述神經網絡的前i層的具有最小運算操作開銷的分組方式，包括：

對于從s=max(1,i-m+1)到s=i的多個s值，計算包括第s層至第i層的層級組的運算操作開銷；

計算包括第s至i層的層級組的運算操作開銷與前(s-1)層的運算操作開銷的和，作為前i層的運算操作開銷；

從與所述多個s值對應的多個前i層的運算操作開銷中，選取最小的運算操作開銷，從而確定所述神經網絡的前i層的具有最小運算操作開銷的分組方式，

其中，max是返回最大值的函數，m是層級組包括的最大層數。

3.根據權利要求2所述的方法，其中，計算包括第s層至第i層的層級組的運算操作開銷，包括：

確定所述層級組的多個拆分參數及其對應的多個運算操作開銷；以及

選擇最小的運算操作開銷及其對應的拆分參數。

4.根據權利要求3所述的方法，其中，確定所述層級組的多個拆分參數包括：

根據預設的拆分參數和所述層級組中各層的屬性數據，確定所述層級組需要使用的緩存大小；

確定所述層級組需要使用的緩存大小是否超過高速緩沖存儲器分配給所述神經網絡的最大容量值；以及

在所述層級組需要使用的緩存大小超過所述最大容量值時，調整所述拆分參數，直到所述層級組需要使用的緩存大小不超過所述最大容量值。

5.根據權利要求1所述的方法，其中，

神經網絡中一層的屬性數據包括該層的輸入特征圖參數、運算參數、以及表征該層輸入特征圖來源的源參數；

生成所述神經網絡的指令序列，包括：

根據所述至少一個層級組中各層的輸入特征圖參數、運算參數以及所述至少一個層級組的拆分參數，確定所述至少一個層級組中各層每次運算操作的輸入參數、輸出參數、以及運算參數；

根據所述至少一個層級組中各層的源參數、以及各層每次運算操作的輸入參數和輸出參數，確定所述至少一個層級組中各層每次運算操作的次序；以及

按照所述至少一個層級組中各層每次運算操作的次序，利用所述至少一個層級組中各層每次運算操作的輸入參數、輸出參數、以及運算參數生成所述至少一個層級組中各層每次運算操作的運算操作指令，以使得所述至少一個層級組中各層的運算操作指令在所述指令序列中按照所述次序排列。