[發明專利]卷積神經網絡模型的壓縮方法、系統及計算機可讀介質

在審

• 申請號: 202210939221.X
• 申請日: 2022-08-05
• 公開（公告）號: CN115293331A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 劉淼;林恒杰;周玲雅
• 申請（專利權）人: 瓴盛科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 駱希聰

1.一種卷積神經網絡模型的壓縮方法，所述卷積神經網絡模型用于處理圖像，其特征在于，所述壓縮方法包括：

構建卷積神經網絡模型；

使用所述卷積神經網絡模型對所述圖像進行前向推理，獲得特征圖標簽；

對所述卷積神經網絡模型進行剪枝處理，獲得剪枝后的卷積神經網絡模型；

根據所述特征圖標簽對所述剪枝后的卷積神經網絡模型進行重訓練。

2.如權利要求1所述的卷積神經網絡模型的壓縮方法，其特征在于，

構建卷積神經網絡模型的步驟包括：構建第一卷積神經網絡模型和第二卷積神經網絡模型，所述第一卷積神經網絡模型包括所述第二卷積神經網絡模型的前向推理部分；

使用所述卷積神經網絡模型對所述圖像進行前向推理的步驟包括：使用所述第一卷積神經網絡模型對所述圖像進行前向推理；

對所述卷積神經網絡模型進行剪枝處理的步驟包括：對所述第二卷積神經網絡模型進行剪枝處理。

3.如權利要求1所述的卷積神經網絡模型的壓縮方法，其特征在于，對所述卷積神經網絡模型進行剪枝處理的步驟包括：基于DBSCAN算法對所述卷積神經網絡模型進行剪枝處理，所述DBSCAN算法用于對所述卷積神經網絡模型中每層的每個濾波器中的卷積核進行聚類。

4.如權利要求3所述的卷積神經網絡模型的壓縮方法，其特征在于，基于DBSCAN算法對所述卷積神經網絡模型進行剪枝處理的步驟包括：

根據所述每個濾波器的方差獲得超參數ε，所述超參數ε用于確定鄰域范圍；

根據所述超參數ε使用所述DBSCAN算法對所述每個濾波器中的所述卷積核進行自適應聚類，獲得所述自適應聚類后的簇；

在所述簇中保留一個卷積核，將所述簇中其余的卷積核進行裁剪。

5.如權利要求1所述的卷積神經網絡模型的壓縮方法，其特征在于，根據所述特征圖標簽對所述剪枝后的卷積神經網絡模型進行重訓練的步驟包括：

使用Wing Loss函數計算所述特征圖標簽和所述剪枝后的卷積神經網絡模型推理結果的損失；

在反向傳播過程中，根據所述損失使用異步梯度更新的方法對所述剪枝后的卷積神經網絡模型進行梯度更新，其中所述異步梯度更新的方法包括：在所述梯度更新的過程中進行梯度累積，當所述梯度累積的數量達到預設閾值時，進行所述梯度更新。

6.如權利要求1或5所述的卷積神經網絡模型的壓縮方法，其特征在于，所述特征圖標簽包括中間特征圖和結果特征圖，在所述前向推理的過程中獲得所述特征圖標簽的步驟包括：

均勻地提取所述卷積神經網絡模型中的中間特征層的特征圖，獲得所述中間特征圖；

提取所述卷積神經網絡模型最后一層的輸出作為所述結果特征圖。

7.如權利要求6所述的卷積神經網絡模型的壓縮方法，其特征在于，使用Wing Loss函數計算所述特征圖標簽和所述剪枝后的卷積神經網絡模型推理結果的損失的步驟包括：

將所述中間特征圖與所述剪枝后的卷積神經網絡模型的中間層對應，計算第一損失；

將所述結果特征圖與所述剪枝后的卷積神經網絡模型最后一層的輸出對應，計算第二損失。

8.如權利要求6所述的卷積神經網絡模型的壓縮方法，其特征在于，所述Wing Loss函數的計算公式包括：

其中，x表示回歸過程中所述特征圖標簽與所述剪枝后的卷積神經網絡模型推理結果的差值，∈表示約束非線性區域的曲率，w表示正數常量，C為常數，

9.一種卷積神經網絡模型的壓縮系統，其特征在于，包括：

存儲器，用于存儲可由處理器執行的指令；

處理器，用于執行所述指令以實現如權利要求1-8任一項所述的卷積神經網絡模型的壓縮方法。

10.一種存儲有計算機程序代碼的計算機可讀介質，其特征在于，所述計算機程序代碼在由處理器執行時實現如權利要求1-8任一項所述的卷積神經網絡模型的壓縮方法。