[發明專利]基于剪枝和蒸餾的卷積神經網絡壓縮方法

有效

• 申請號: 201710421225.8
• 申請日: 2017-06-07
• 公開（公告）號: CN108334934B
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 江帆;單羿
• 申請（專利權）人: 賽靈思公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京卓孚律師事務所 11821
• 代理人: 任宇

1.一種在圖像處理中對卷積神經網絡進行壓縮的方法，包括：

對原始卷積神經網絡模型進行剪枝操作，得到剪枝后的模型；

基于圖像處理結果的準確率對剪枝后的模型進行參數微調，以通過提升精度來改善模型性能；

利用原始卷積神經網絡模型作為蒸餾算法的老師網絡，將經過參數微調的剪枝后的模型作為蒸餾算法的學生網絡，根據蒸餾算法，通過用學生網絡輸出的圖像處理結果去擬合老師網絡輸出的圖像處理結果，對學生網絡的參數進行調整，由此通過老師網絡來指導學生網絡進行訓練以進一步改善模型性能，其中，老師網絡輸出的圖像處理結果相對于圖片的標簽包含更多的信息；

將經過蒸餾算法訓練的學生網絡作為壓縮后的卷積神經網絡模型，使得壓縮后的卷積神經網絡模型性能得到恢復。

2.根據權利要求1所述的方法，其中，所述的剪枝操作包括：保留原始卷積神經網絡模型中重要的連接或模塊，刪除其余的連接或模塊。

3.根據權利要求2所述的方法，其中，基于剪枝準則來確定保留或刪除哪些連接或模塊。

4.根據權利要求3所述的方法，其中，所述剪枝準則是網絡模型的元素的絕對值的大小，所述絕對值大于閾值的元素得以保留，所述絕對值小于閾值的元素被設置為0。

5.根據權利要求3所述的方法，其中，所述剪枝準則是網絡模型中每一個卷積核的元素絕對值之和的大小，所述絕對值之和大于閾值的卷積核得以保留，所述絕對值之和小于閾值的卷積核被刪除。