[發明專利]基于多粒度剪枝的網絡模型壓縮方法及裝置

在審

• 申請號: 201710568710.8
• 申請日: 2017-07-13
• 公開（公告）號: CN107368885A
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 曾建平;王軍;李志國;班華忠;朱明;張智鵬
• 申請（專利權）人: 北京智芯原動科技有限公司
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于多粒度剪枝的網絡模型壓縮方法，其特征在于，該方法包括以下一個或者兩個或者三個步驟：

輸入通道粒度層次剪枝步驟，采用不重要元素剪枝法，將網絡模型的輸入通道的粒度層次中不重要元素進行剪枝；

卷積核粒度層次剪枝步驟，采用不重要元素剪枝法，對網絡模型的卷積核的粒度層次中不重要元素進行剪枝；

權重參數粒度層次剪枝步驟，采用不重要元素剪枝法，對網絡模型的權重參數的粒度層次中不重要元素進行剪枝。

2.如權利要求1所述的方法，其特征在于，所述不重要元素剪枝法包括：

不重要元素的置零步驟，計算當前粒度層次中每個元素的重要度，將不重要元素對應的值置零；

剪枝微調步驟，根據訓練數據微調整個網絡模型；

損失判斷步驟，計算微調后的網絡模型的精確度損失，若所述精確度損失小于精確度損失閾值，則繼續執行不重要元素的置零步驟，否則結束。

3.如權利要求2所述的方法，其特征在于，所述不重要元素的置零步驟包括：元素重要度排序步驟，統計當前粒度層次中每個待剪枝元素的權重參數向量W_e，計算所述待剪枝元素的重要度對所有待剪枝元素按照重要度EIV_i從小到大進行升序排列，得到重要度升序集合，并計算所有待剪枝元素的重要度總和N為當前粒度層次權重參數的數量；

剪枝閾值計算步驟，根據能量剪枝率閾值EPR，計算剪枝能量EP＝EIVS×EPR，統計升序集合中重要度的累計分布，選取與剪枝能量相等的累計分布所對應的重要度作為剪枝閾值；

損失函數影響量計算步驟，輸入一組測試數據，計算網絡的損失函數值Loss，計算損失函數影響量

置零步驟，對于當前粒度層次中每個待剪枝元素i，如果待剪枝元素的重要度EIV_i小于剪枝閾值，并且損失函數影響量EL_i小于0，則將該待剪枝元素i對應的值置零。

4.如權利要求2所述的方法，所述輸入通道粒度層次剪枝步驟的不重要元素剪枝法的當前粒度層次為網絡模型的輸入通道的粒度層次；所述卷積核粒度層次剪枝步驟的不重要元素剪枝法中的當前粒度層次為網絡模型的卷積核的粒度層次；所述權重參數粒度層次剪枝步驟的不重要元素剪枝法中的當前粒度層次為網絡模型的權重參數的粒度層次。

5.如權利要求3所述的方法，所述能量剪枝率閾值EPR的取值范圍為0.01～0.2。

6.如權利要求2所述的方法，所述精確度損失閾值的取值范圍為0.01～0.1。

7.如權利要求4所述的方法，所述網絡為深度學習網絡；優選地，所述網絡包括但不限于以下一種或者多種的組合：卷積神經網絡、深度信念網絡、遞歸神經網絡。

8.基于多粒度剪枝的網絡模型壓縮裝置，其特征在于，該裝置包括以下一個或者兩個或者三個模塊：

輸入通道粒度層次剪枝模塊，用于采用不重要元素剪枝模塊，將網絡模型的輸入通道的粒度層次中不重要元素進行剪枝；

卷積核粒度層次剪枝模塊，用于采用不重要元素剪枝模塊，對網絡模型的卷積核的粒度層次中不重要元素進行剪枝；

權重參數粒度層次剪枝模塊，用于采用不重要元素剪枝模塊，對網絡模型的權重參數的粒度層次中不重要元素進行剪枝。

9.如權利要求8所述的裝置，其特征在于，所述不重要元素剪枝模塊包括：

不重要元素的置零模塊，用于計算當前粒度層次中每個元素的重要度，將不重要元素對應的值置零；

剪枝微調模塊，用于根據訓練數據微調整個網絡模型；

損失判斷模塊，用于計算微調后的網絡模型的精確度損失，若所述精確度損失小于精確度損失閾值，則繼續執行不重要元素的置零模塊，否則結束。

10.如權利要求9所述的裝置，其特征在于，所述不重要元素的置零模塊包括：元素重要度排序模塊，用于統計當前粒度層次中每個待剪枝元素的權重參數向量W_e，計算所述待剪枝元素的重要度對所有待剪枝元素按照重要度EIV_i從小到大進行升序排列，得到重要度升序集合，并計算所有待剪枝元素的重要度總和N為當前粒度層次權重參數的數量；剪枝閾值計算模塊，用于根據能量剪枝率閾值EPR，計算剪枝能量EP＝EIVS×EPR，統計升序集合中重要度的累計分布，選取與剪枝能量相等的累計分布所對應的重要度作為剪枝閾值；

損失函數影響量計算模塊，用于輸入一組測試數據，計算網絡的損失函數值Loss，計算損失函數影響量

置零模塊，用于對于當前粒度層次中每個待剪枝元素i，如果待剪枝元素的重要度EIV_i小于剪枝閾值，并且損失函數影響量EL_i小于0，則將該待剪枝元素i對應的值置零。