[發明專利]基于多粒度剪枝的網絡模型壓縮方法及裝置

在審

• 申請號: 201710568710.8
• 申請日: 2017-07-13
• 公開（公告）號: CN107368885A
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 曾建平;王軍;李志國;班華忠;朱明;張智鵬
• 申請（專利權）人: 北京智芯原動科技有限公司
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及圖像處理、視頻監控以及深度神經網絡，特別涉及基于多粒度剪枝的網絡模型壓縮方法及裝置。

背景技術

近年來，隨著人工智能的快速發展，深度學習網絡由于通過組合底層特征形成高層特征，受環境變化的影響較小，在計算機視覺領域取得了突破性成果，尤其在人臉識別和圖像分類等方面超越了人類的識別準確度。

然而，現有的高性能深度學習網絡一般都有幾百萬甚至上億個參數，這使得它的存儲和計算消耗都非常巨大，限制了其應用于存儲和計算資源都受限的設備。因此，對深度學習網絡模型壓縮進行壓縮是解決這個問題的一個關鍵步驟。

但是，現有的模型壓縮技術通常是通過模型權重值的稀疏化來減少模型尺寸，但是并不能顯著地減少運行深度學習網絡所需要的存儲和計算資源。

綜上所述，需要提出一種降低存儲和計算資源消耗的深度學習網絡模型壓縮方法。

發明內容

有鑒于此，本發明的主要目的在于降低存儲資源和計算資源消耗，實現網絡模型的壓縮。

為達到上述目的，按照本發明的第一個方面，提供了基于多粒度剪枝的網絡模型壓縮方法，該方法包括以下一個或者兩個或者三個步驟：

輸入通道粒度層次剪枝步驟，采用不重要元素剪枝法，將網絡模型的輸入通道的粒度層次中不重要元素進行剪枝；

卷積核粒度層次剪枝步驟，采用不重要元素剪枝法，對網絡模型的卷積核的粒度層次中不重要元素進行剪枝；

權重參數粒度層次剪枝步驟，采用不重要元素剪枝法，對網絡模型的權重參數的粒度層次中不重要元素進行剪枝。

進一步地，所述不重要元素剪枝法包括：

不重要元素的置零步驟，計算當前粒度層次中每個元素的重要度，將不重要元素對應的值置零；

剪枝微調步驟，根據訓練數據微調整個網絡模型；

損失判斷步驟，計算微調后的網絡模型的精確度損失，若所述精確度損失小于精確度損失閾值，則繼續執行不重要元素的置零步驟，否則結束。

進一步地，所述不重要元素的置零步驟包括：

元素重要度排序步驟，統計當前粒度層次中每個待剪枝元素的權重參數向量W_e，計算所述待剪枝元素的重要度對所有待剪枝元素按照重要度EIV_i從小到大進行升序排列，得到重要度升序集合，并計算所有待剪枝元素的重要度總和N為當前粒度層次權重參數的數量；

剪枝閾值計算步驟，根據能量剪枝率閾值EPR，計算剪枝能量EP＝EIVS×EPR，統計升序集合中重要度的累計分布，選取與剪枝能量相等的累計分布所對應的重要度作為剪枝閾值；

損失函數影響量計算步驟，輸入一組測試數據，計算網絡的損失函數值Loss，計算損失函數影響量

置零步驟，對于當前粒度層次中每個待剪枝元素i，如果待剪枝元素的重要度EIV_i小于剪枝閾值，并且損失函數影響量EL_i小于0，則將該待剪枝元素i對應的值置零。

按照本發明的另一個方面，提供了基于多粒度剪枝的網絡模型壓縮裝置，該裝置包括以下一個或者兩個或者三個模塊：

輸入通道粒度層次剪枝模塊，用于采用不重要元素剪枝模塊，將網絡模型的輸入通道的粒度層次中不重要元素進行剪枝；

卷積核粒度層次剪枝模塊，用于采用不重要元素剪枝模塊，對網絡模型的卷積核的粒度層次中不重要元素進行剪枝；

權重參數粒度層次剪枝模塊，用于采用不重要元素剪枝模塊，對網絡模型的權重參數的粒度層次中不重要元素進行剪枝。

進一步地，所述不重要元素剪枝模塊包括：

不重要元素的置零模塊，用于計算當前粒度層次中每個元素的重要度，將不重要元素對應的值置零；

剪枝微調模塊，用于根據訓練數據微調整個網絡模型；

損失判斷模塊，用于計算微調后的網絡模型的精確度損失，若所述精確度損失小于精確度損失閾值，則繼續執行不重要元素的置零模塊，否則結束。

進一步地，所述不重要元素的置零模塊包括：

元素重要度排序模塊，用于統計當前粒度層次中每個待剪枝元素的權重參數向量W_e，計算所述待剪枝元素的重要度對所有待剪枝元素按照重要度EIV_i從小到大進行升序排列，得到重要度升序集合，并計算所有待剪枝元素的重要度總和N為當前粒度層次權重參數的數量；