[發明專利]卷積神經網絡的裁剪、卷積計算方法及裝置

在審

• 申請號: 202010140843.7
• 申請日: 2020-03-03
• 公開（公告）號: CN111414993A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 何聰聰;趙健;楊敏;雷鵬
• 申請（專利權）人: 三星（中國）半導體有限公司;三星電子株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 王皎彤;曾世驍

1.一種卷積神經網絡的裁剪方法，包括：

遍歷卷積神經網絡的每個卷積層，執行以下步驟：

基于卷積層的卷積參數獲取輸入通道卷積核切片；

確定輸入通道卷積核切片中相似的輸入通道卷積核切片；

基于相似的輸入通道卷積核切片，確定用于替代相似的輸入通道卷積核切片的替代切片；

裁剪掉相似的輸入通道卷積核切片，以替代切片替代被裁剪的輸入通道卷積核切片。

2.根據權利要求1所述的卷積神經網絡的裁剪方法，還包括：

記錄替代切片所替代的被裁剪的輸入通道卷積核切片的索引值。

3.根據權利要求1或2所述的卷積神經網絡的裁剪方法，其中，確定輸入通道卷積核切片中相似的輸入通道卷積核切片的步驟包括：

計算每個輸入通道卷積核切片的范數；

根據范數確定輸入通道卷積核切片中相似的輸入通道卷積核切片。

4.根據權利要求3所述的卷積神經網絡的裁剪方法，其中，根據范數確定輸入通道卷積核切片中相似的輸入通道卷積核切片的步驟包括：

根據范數的相似度對輸入通道卷積核切片進行分類；

遍歷分類結果中的每個類，計算各個輸入通道卷積核切片之間的輸入通道相似度，并根據輸入通道相似度確定相似的輸入通道卷積核切片。

5.根據權利要求4所述的卷積神經網絡的裁剪方法，其中，

計算各個輸入通道卷積核切片之間的輸入通道相似度的步驟包括：

計算各個輸入通道卷積核切片之間的差范數，作為各個輸入通道卷積核切片之間的輸入通道相似度，

根據輸入通道相似度確定相似的輸入通道卷積核切片的步驟包括：

將輸入通道相似度處于閾值范圍的輸入通道卷積核切片確定為相似的輸入通道卷積核切片。

6.根據權利要求1或2所述的卷積神經網絡的裁剪方法，其中，

確定用于替代相似的輸入通道卷積核切片的替代切片的步驟包括：

計算相似的輸入通道卷積核切片的均值通道卷積核切片；

將均值通道卷積核切片確定為替代切片，

或者，確定用于替代相似的輸入通道卷積核切片的替代切片的步驟包括：

將相似的輸入通道卷積核切片之一確定為替代切片。

7.根據權利要求1或2所述的卷積神經網絡的裁剪方法，其中，基于卷積參數獲取輸入通道卷積核切片的步驟包括：

根據卷積核的輸入通道數，確定輸入通道卷積核切片的數量；

根據確定的輸入通道卷積核切片的數量，基于卷積參數從表示卷積核的張量中提取輸入通道卷積核切片，其中，所述卷積參數包括卷積核的輸入通道數、輸出通道數、卷積核的卷積過濾器寬度和卷積過濾器高度。

8.一種使用根據權利要求1-7中任一方法裁剪的卷積神經網絡的卷積計算方法，包括：

遍歷卷積神經網絡的每個卷積層，執行以下步驟：

針對卷積層的每個輸入通道卷積核切片，根據輸入通道卷積核切片的索引值判斷輸入通道卷積核切片是否是替代切片；

當輸入通道卷積核切片是替代切片時，獲取輸入通道卷積核切片所替代的被裁剪的輸入通道卷積核切片的索引值，基于輸入通道卷積核切片所替代的被裁剪的輸入通道卷積核切片的索引值執行卷積計算。

9.根據權利要求8所述的卷積計算方法，其中，基于輸入通道卷積核切片所替代的被裁剪的輸入通道卷積核切片的索引值執行卷積計算的步驟包括：

從卷積輸入的通道切片中確定與輸入通道卷積核切片所替代的被裁剪的輸入通道卷積核切片的索引值對應的通道切片；

對確定的與輸入通道卷積核切片所替代的被裁剪的輸入通道卷積核切片的索引值對應的通道切片進行求和計算；

對求和計算結果和輸入通道卷積核切片執行卷積計算。