[發明專利]一種基于通道L1范數剪枝的神經網絡壓縮方法

在審

• 申請號: 202010039831.5
• 申請日: 2020-01-15
• 公開（公告）號: CN111242287A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 陸生禮;樊迎博;龐偉
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 熊玉瑋

1.一種基于通道L1范數剪枝的神經網絡壓縮方法，其特征在于，獲取神經網絡達到目標準確率時的權值參數初始值，按照神經網絡各卷積層剪枝后對準確率下降的敏感度由大到小的順序將卷積層分為待剪枝卷積層組和權值保持不變的卷積層組，對待剪枝卷積層組中的各卷積層按照敏感度由大到小的順序依次進行分組剪枝操作，對每層待剪枝的卷積層按照卷積核通道方向分組后進行基于組內通道L1范數的剪枝，再訓練剪枝后的網絡，獲取再訓練后到達目標準確率的權重參數，循環分組再剪枝操作直至網絡收斂。

2.根據權利要求1所述一種基于通道L1范數剪枝的神經網絡壓縮方法，其特征在于，對每層待剪枝的卷積層按照卷積核通道方向分組后進行基于組內通道L1范數的剪枝的方法為：對每個待剪枝卷積層中組內通道L1范數超過該層卷積層閾值的權值組進行剪枝操作，每個待剪枝卷積層中組內通道L1范數小于該層卷積層閾值的權值組參與再訓練。

3.根據權利要求1所述一種基于通道L1范數剪枝的神經網絡壓縮方法，其特征在于，訓練神經網絡的數據庫選擇ILSVRC-2012數據集。

4.根據權利要求1所述一種基于通道L1范數剪枝的神經網絡壓縮方法，其特征在于，基于學習框架pytorch對數據進行訓練后執行分組再剪枝的循環操作，在前向傳播過程中采用浮點計算測試每一層的數據，對網絡模型和參數進行調整以獲取神經網絡達到目標準確率時的權值參數初始值。

5.根據權利要求2所述一種基于通道L1范數剪枝的神經網絡壓縮方法，其特征在于，每個待剪枝卷積層中各權值組的組內通道L1范數根據表達式計算，該層卷積層的閾值根據求得，計算group為分組后組內的權重個數，n為待剪枝卷積層權重分組后的組別，all為該層卷積層內所有權重的個數，θ為該層卷積層的閾值，w_c為第n組內的第c個權值，||w_n||₁為第n組的組內通道L1范數，w_j為該層卷積層內第j個權重。

6.根據權利要求5所述一種基于通道L1范數剪枝的神經網絡壓縮方法，其特征在于，在循環分組再剪枝操作的過程中，為每層待剪枝的卷積層設置不同的閾值及不同的組內權重個數。

7.根據權利要求2所述一種基于通道L1范數剪枝的神經網絡壓縮方法，其特征在于，在執行分組再剪枝的循環操作的過程中，保證剪枝過的權值參數不更新，具體方法為：經過剪枝的權值參數的company變量由初始的1變為0，而未剪枝的權值參數的company變量仍然是1。

8.根據權利要求7所述一種基于通道L1范數剪枝的神經網絡壓縮方法，其特征在于，再訓練組內通道L1范數小于該層卷積層閾值的權值組時，將經過剪枝的權值參數的company變量與梯度相乘以使剪枝過的權值參數的梯度為0。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1所述的壓縮方法。

10.小型化嵌入式終端設備，其特征在于，包括：存儲器、處理器及存儲在存儲器上并可以在處理器上運行的計算機程序，其特征在于，所述處理器根據所壓縮率述程序時實現權利要求1所述壓縮方法。