[發明專利]一種基于知識蒸餾的卷積神經網絡的量化方法

在審

• 申請號: 202010743852.5
• 申請日: 2020-07-29
• 公開（公告）號: CN112016674A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 吳梓恒;胡杰;曾夢澤
• 申請（專利權）人: 魔門塔（蘇州）科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 南京九致知識產權代理事務所(普通合伙) 32307
• 代理人: 嚴巧巧

1.一種基于知識蒸餾的卷積神經網絡的量化方法，其特征在于，包括如下步驟：

1)訓練卷積神經網絡模型，直到卷積神經網絡模型收斂，預設卷積神經網絡模型的稀疏度和網絡精度；

2)對卷積神經網絡模型的每一個網絡權重層進行敏感性分析，并根據敏感性分析結果對卷積神經網絡模型的進行啟發式裁剪，獲得稀疏化的卷積神經網絡模型；

3)采用教師網絡對稀疏化的卷積神經網絡模型進行基于知識蒸餾的微調訓練，獲得微調后卷積神經網絡模型；所述基于知識蒸餾的微調訓練的微調標準為微調后卷積神經網絡模型的網絡精度達到預設的卷積神經網絡模型的網絡精度；

4)檢查微調后卷積神經網絡模型的稀疏度；若微調后卷積神經網絡模型的稀疏度達到預設的卷積神經網絡模型的稀疏度，則進行步驟5)；若微調后卷積神經網絡模型的稀疏度未達到預設的卷積神經網絡模型的稀疏度，則對微調后卷積神經網絡模型重復執行步驟2)和步驟3)，直至微調后卷積神經網絡模型的稀疏度達到預設的卷積神經網絡模型的稀疏度；

5)對微調后卷積神經網絡模型的每一個網絡權重層進行量化的敏感性分析，并根據敏感性分析結果確定微調后卷積神經網絡模型的每一層網絡權重的量化位數；

6)根據微調后卷積神經網絡模型的每一層網絡權重的量化位數，對微調后卷積神經網絡模型逐層量化，獲得量化后卷積神經網絡模型；

7)采用教師網絡對量化后卷積神經網絡模型進行基于知識蒸餾的微調訓練，恢復網絡精度到預設的卷積神經網絡模型的網絡精度。

2.根據權利要求1所述的基于知識蒸餾的卷積神經網絡的量化方法，其特征在于，所述步驟1)中采用ImageNet數據集訓練卷積神經網絡模型，卷積神經網絡模型為MixNet模型；所述MixNet模型包含K個網絡權重層，記為[w₁，w₂，w₃，…，w_K]，每一個網絡權重層包含若干浮點數。

3.根據權利要求2所述的基于知識蒸餾的卷積神經網絡的量化方法，其特征在于，所述步驟2)中敏感性分析為對MixNet模型的所有網絡權重層設定各層對應的裁剪比例，分別測試各網絡權重層在對應的裁剪比例裁剪后的網絡精度，分析獲得網絡精度對不同網絡權重層裁剪的敏感性；

所述啟發式裁剪為根據網絡精度對不同網絡權重層裁剪的敏感性，對所有網絡權重層的浮點數按照數字從小到大進行排序，設定不同網絡權重層的裁剪比例，所有網絡權重層的浮點數自小數字側向大數字側按照該層對應的裁剪比例將數字置0。

4.根據權利要求2所述的基于知識蒸餾的卷積神經網絡的量化方法，其特征在于，所述步驟3)中教師網絡為ResNet50模型。

5.根據權利要求1所述的基于知識蒸餾的卷積神經網絡的量化方法，其特征在于，所述步驟4)對微調后卷積神經網絡模型重復執行步驟2)和步驟3)，直至微調后卷積神經網絡模型的稀疏度達到預設的卷積神經網絡模型的稀疏度，具體過程為：

在微調后卷積神經網絡模型的基礎上，再次對微調后卷積神經網絡模型的所有網絡權重層設定各層對應的裁剪比例，分別測試各網絡層權重在對應的裁剪比例裁剪后的網絡精度，分析獲得網絡精度對微調后卷積神經網絡模型不同網絡權重層裁剪的敏感性；

再根據網絡精度對微調后卷積神經網絡模型不同網絡權重層裁剪的敏感性，重新設定不同網絡權重層的裁剪比例，所有網絡權重層的浮點數按照數字從小到大進行排序后，將所有網絡權重層的浮點數自小數字側向大數字側按照該層對應的裁剪比例將數字置0；

每次裁剪后都采用教師網絡進行基于知識蒸餾的微調訓練和稀疏度檢查，保證裁剪后的稀疏度和網絡精度都達到預設的卷積神經網絡模型的稀疏度和網絡精度。