[發明專利]優化神經網絡模型的處理裝置及方法

在審

• 申請號: 202011449723.1
• 申請日: 2020-12-09
• 公開（公告）號: CN112465123A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 安徽寒武紀信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

1.一種優化神經網絡模型的方法，所述神經網絡模型包括始轉置算子、中間算子群及終轉置算子，所述中間算子群介于所述始轉置算子與所述終轉置算子間，所述方法包括：

判斷所述中間算子群是否對數據格式順序敏感；

如否，合并所述始轉置算子與所述終轉置算子，以形成合并轉置算子；以及

當基于所述神經網絡模型進行推理時，執行所述合并轉置算子以取代執行所述始轉置算子與所述終轉置算子。

2.根據權利要求1所述的方法，其中所述合并步驟包括：

將所述始轉置算子與所述終轉置算子的其中之一替換成所述合并轉置算子；以及

移除所述始轉置算子與所述終轉置算子中的另一個。

3.根據權利要求1所述的方法，其中所述中間算子群包括至少一個中間算子，所述判斷步驟包括：

遍歷所有中間算子，判斷每個中間算子是否為不依賴特定維度計算的算子；以及

如是，所述方法還包括：

互換所述始轉置算子與所述中間算子的順序。

4.根據權利要求3所述的方法，其中如所述中間算子為對特定維度計算的算子，則根據所述中間算子的數據格式順序轉換所述始轉置算子的維度。

5.根據權利要求4所述的方法，其中所述始轉置算子的輸出數據格式順序轉換成所述中間算子的輸入數據格式順序。

6.根據權利要求3所述的方法，其中如所述中間算子為拆分算子，則所述互換步驟包括：

移動所述始轉置算子至所述拆分算子的所有分支。

7.根據權利要求1所述的方法，其中所述合并轉置算子的輸入數據格式順序為所述始轉置算子的輸入數據格式順序，所述合并轉置算子的輸出數據格式順序為所述終轉置算子的輸出數據格式順序。

8.一種優化神經網絡模型的處理裝置，所述神經網絡模型包括始轉置算子、中間算子群及終轉置算子，所述中間算子群介于所述始轉置算子與所述終轉置算子間，所述處理裝置包括：

判斷模塊，用以判斷所述中間算子群是否對數據格式順序敏感；以及

置換模塊，當所述中間算子群對數據格式順序不敏感時，用以合并所述始轉置算子與所述終轉置算子，以形成合并轉置算子；

其中，當基于所述神經網絡模型進行推理時，以所述合并轉置算子取代所述始轉置算子與所述終轉置算子。

9.根據權利要求8所述的處理裝置，其中置換模塊用以：

將所述始轉置算子與所述終轉置算子的其中之一替換成所述合并轉置算子；以及

移除所述始轉置算子與所述終轉置算子中的另一個。

10.根據權利要求9所述的處理裝置，還包括位移模塊，其中所述中間算子群包括至少一個中間算子，所述判斷模塊遍歷所有中間算子，判斷每個中間算子是否為不依賴特定維度計算的算子，如是，所述位移模塊互換所述始轉置算子與所述中間算子的順序。

11.根據權利要求10所述的處理裝置，其中如所述中間算子為對特定維度計算的算子，則所述置換模塊根據所述中間算子的數據格式順序轉換所述始轉置算子的維度。

12.根據權利要求11所述的處理裝置，其中所述置換模塊將所述始轉置算子的輸出數據格式順序轉換成所述中間算子的輸入數據格式順序。

13.根據權利要求10所述的處理裝置，其中如所述中間算子為拆分算子，則所述位移模塊移動所述始轉置算子至所述拆分算子的所有分支。

14.根據權利要求8所述的處理裝置，其中所述合并轉置算子的輸入數據格式順序為所述始轉置算子的輸入數據格式順序，所述合并轉置算子的輸出數據格式順序為所述終轉置算子的輸出數據格式順序。