[發明專利]一種基于相鄰層權重的卷積神經網絡裁剪方法

有效

• 申請號: 202111531593.0
• 申請日: 2021-12-15
• 公開（公告）號: CN113935485B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 楊岸青;王彬;徐凱;陳石;趙佳佳;袁明亮
• 申請（專利權）人: 江蘇游隼微電子有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06V10/774;G06V10/82;G06V40/16;G06K9/62
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 吳旭

本發明公開了一種基于相鄰層權重的卷積神經網絡裁剪方法，計算卷積神經網絡中各卷積層中的每個卷積核的權重以及下一層對應通道的權重；對于各卷積層，計算每個卷積核的權重絕對值之和以及下一層對應通道的權重絕對值之和，并與對應所作卷積運算次數相乘后相加，得到衡量卷積層中各卷積核重要性的參數C，將m個C值小于閾值的卷積核以及對應的特征圖都裁剪掉，同時裁剪掉下一個卷積層中與被裁剪掉的特征圖進行卷積的通道；對裁剪后的網絡進行再訓練后完成網絡裁剪。本方法通過對用于人臉識別等的卷積神經網的當前卷積層權重、下一卷積層權重、卷積運算次數三個要素綜合考量，能夠在不損失精度的情況下對卷積神經網絡進行裁剪。

技術領域

本發明涉及一種卷積神經網絡裁剪方法。

背景技術

卷積神經網絡（Convolutional Neural Networks）是一種包含卷積計算且具有深度結構的前饋神經網絡，其在圖像分類，圖像檢測，語義分割和視頻追蹤等領域有著廣泛的應用。

隨著人工智能技術在生活中的應用越來越多，卷積神經網絡的邊緣計算也開始興起，然而效果優秀的卷積神經網絡往往參數非常多，限制了其在移動端或者嵌入式芯片上的本地運行。因此往往需要對原有的神經網絡進行一定的裁剪。因此如何在不損失精度的條件下對卷積神經網絡進行裁剪成為了一個具有實用價值的技術。

發表于ICLR 2017的《Pruning Filters for Efficient ConvNets》公開了一種神經網絡裁剪方法，對于卷積神經網絡中的一次卷積，過程如圖1所示，n_i個大小為w_i*h_i的特征圖X_i與n_i+1個通道數為n_i的卷積核進行卷積，產生n_i+1個特征圖，而這個特征圖又將與n_i+2個通道數為n_i+1的卷積核進行卷積，產生n_i+2個特征圖。一旦裁剪掉一個卷積核，那么其輸出的特征圖數量將減少一個，下一層的卷積核也將對應的減少一個通道。該論文中，確定在單層中需要剪枝的卷積核的方法為：把卷積神經網絡的參數權重絕對值之和作為量化的標準，對每一個卷積神經網絡的卷積核進行排序，然后去除權重絕對值之和最小的數個卷積核，并去除其下一層對應的通道。對卷積神經網絡每層都執行這樣的操作，最后即可獲得減小了參數量而不損失太多精度的網絡。

然而上述方法事實上存在著一個缺陷：由于在去除當前層卷積核時需要同時去除下一層對應的通道，在執行模型裁剪時卻沒有考慮到下一層的權重。如果被去除的下一層通道權值較大，就可能會帶來較大的精度損失。

發明內容

發明目的：針對上述現有技術，提出一種基于相鄰層權重的卷積神經網絡裁剪方法，能夠在不損失精度的情況下對卷積神經網絡進行裁剪。

技術方案：一種基于相鄰層權重的卷積神經網絡裁剪方法，包括：

步驟1：構建卷積神經網絡，采集人臉圖像數據，對所述人臉圖像數據進行預處理后得到訓練數據，所述預處理包括歸一化和數據增強處理；