[發明專利]卷積神經網絡的裁剪、卷積計算方法及裝置

在審

• 申請號: 202010140843.7
• 申請日: 2020-03-03
• 公開（公告）號: CN111414993A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 何聰聰;趙健;楊敏;雷鵬
• 申請（專利權）人: 三星（中國）半導體有限公司;三星電子株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 王皎彤;曾世驍

提供一種卷積神經網絡的裁剪、卷積計算方法及裝置。該卷積神經網絡的裁剪方法包括：遍歷卷積神經網絡的每個卷積層，執行以下步驟：基于卷積層的卷積參數獲取輸入通道卷積核切片；確定輸入通道卷積核切片中相似的輸入通道卷積核切片；基于相似的輸入通道卷積核切片，確定用于替代相似的輸入通道卷積核切片的替代切片；裁剪掉相似的輸入通道卷積核切片，以替代切片替代被裁剪的輸入通道卷積核切片，從而在不需要大量額外的參考結構來分別記錄每個被裁剪掉的權重索引或位置、不影響卷積神經網絡的權重的表現形式、并且不影響卷積神經網絡的運行和功能的情況下，降低了卷積神經網絡的空間復雜度和所需的存儲空間。

技術領域

本公開涉及計算機技術領域。更具體地，本公開涉及一種卷積神經網絡的裁剪、卷積計算方法及裝置。

背景技術

近年來，基于卷積神經網絡的深度學習在圖像識別、語音識別、目標檢測、圖像語義分割等多個實際應用領域取得了廣泛的成功。但深度卷積網絡的表達能力越強，往往意味著網絡模型的規模越大，其空間復雜度就越高，所占存儲空間也就越大。這種情況無疑限制了高性能的深度卷積網絡在存儲受限的嵌入式設備中的部署應用，如手機、車載系統等。

Denil等人在2013年的文獻《Predicting parameters in deep learning》中證實了深度神經網絡結構事實上是冗余的，即可以通過一些權重壓縮手段來減小深度神經網絡的規模，同時不造成明顯的精度損失。因此，人們提出了很多方法來對深度神經網絡進行壓縮。

其中，網絡裁剪是使用較廣泛的壓縮方法之一。一般而言，在深度神經網絡訓練結束后，找到權值接近于0(或其他閾值)的權重，再裁剪掉這些權重在存儲空間中的占用即可，但要記錄被裁權重的索引以方便網絡運行時能夠正確執行。有時，還要對裁剪后的深度神經網絡再繼續訓練若干次以修正結構變化帶來的誤差，一般稱之為微調(fine-tune)。

Li等人在2017年的文獻《Pruning Filters for Efficient ConvNets》中提到了卷積核中存在冗余通道的現象，即不同通道方向上的部分卷積核過濾器在訓練后權重極為相似，這為卷積核的通道裁剪提供了一定理論基礎。

圖像識別是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對象的技術，是應用深度學習算法的一種實踐應用。近年來，基于卷積神經網絡的深度學習在圖像識別領域取得了廣泛的成功。但深度卷積神經網絡的表達能力越強，往往意味著網絡模型的規模越大，其空間復雜度就越高，所占存儲空間也就越大。這種情況無疑限制了高性能的深度卷積神經網絡在存儲受限的嵌入式設備中的部署應用，如手機、車載系統等，進而影響圖像識別的效率。

發明內容

本公開的示例性實施例在于提供一種卷積神經網絡的裁剪、卷積計算方法及裝置，以降低卷積神經網絡的空間復雜度和所需的存儲空間。

根據本公開的示例性實施例，提供一種卷積神經網絡的裁剪方法，包括：遍歷卷積神經網絡的每個卷積層，執行以下步驟：基于卷積層的卷積參數獲取輸入通道卷積核切片；確定輸入通道卷積核切片中相似的輸入通道卷積核切片；基于相似的輸入通道卷積核切片，確定用于替代相似的輸入通道卷積核切片的替代切片；裁剪掉相似的輸入通道卷積核切片，以替代切片替代被裁剪的輸入通道卷積核切片。這樣，通過利用卷積神經網絡中的卷積核內部不同通道之間具有相似性這一特點，裁剪掉具備相似性的卷積核通道，并由替代卷積核通道替代被裁剪掉的相似的多個卷積核通道，從而在不需要大量額外的參考結構來分別記錄每個被裁剪掉的權重索引或位置、不影響卷積神經網絡的權重的表現形式、并且不影響卷積神經網絡的運行和功能的情況下，降低了卷積神經網絡的空間復雜度和所需的存儲空間。

可選地，所述卷積神經網絡的裁剪方法還可以包括：記錄替代切片所替代的被裁剪的輸入通道卷積核切片的索引值，從而通過索引值記錄每個被裁剪的輸入通道卷積核切片。