[發明專利]一種基于預量化和縮放系數剪枝的卷積神經網絡壓縮方法

在審

• 申請號: 202110625812.5
• 申請日: 2021-06-04
• 公開（公告）號: CN113570055A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 樊春曉;宋光明;胡洲;趙公方
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 安徽申策知識產權代理事務所(普通合伙) 34178
• 代理人: 程艷梅

本發明涉及卷積神經網絡壓縮技術領域，且公開了一種基于預量化和縮放系數剪枝的卷積神經網絡壓縮方法，包括以下步驟：首先通過提出的約束損失函數對預訓練的卷積神經網絡模型進行預量化，訓練結束后網絡中的權值會被約束為量化值的近似值，稱為預量化值，同時在訓練過程中使用稀疏正則化損失函數對批標準化層的通道縮放系數進行稀疏化處理；本發明將剪枝和量化兩種模型壓縮方法有機結合而非簡單疊加，考慮了量化對剪枝的影響，在訓練中生成適應于量化值的剪枝結構，相對于直接結合傳統剪枝和量化方法，本技術方案可以充分發揮剪枝和量化的優勢，使用更少的參數量達到相當或更優異的精度表現。

技術領域

本發明涉及卷積神經網絡壓縮技術領域，具體為一種基于預量化和縮放系數剪枝的卷積神經網絡壓縮方法。

背景技術

現有的神經網絡壓縮方法僅僅是對深度神經網絡中網絡結構和參數量的冗余性進行單獨優化，并未考慮其他因素對壓縮方法的影響。常見的模型壓縮算法主要包括量化，剪枝，知識蒸餾，低秩分解，輕量化模型等，為進一步提高壓縮率，常常將多個壓縮方法結合使用。數個壓縮方法的直接結合雖然可以提高模型的壓縮率，但生硬地融合使用往往會導致壓縮方法的特性相互影響，難以發揮出各自的優勢，從而導致最終的性能嚴重下降。因此，壓縮方法的直接結合有時無法同時兼顧到壓縮率和精度。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種基于預量化和縮放系數剪枝的卷積神經網絡壓縮方法，解決了上述背景技術中所存在的問題。

(二)技術方案

為實現上述目的，本發明提供如下技術方案：一種基于預量化和縮放系數剪枝的卷積神經網絡壓縮方法，包括以下步驟：

S1、預精簡階段：首先通過提出的約束損失函數對預訓練卷積神經模型進行預量化，訓練結束后網絡中的權值會被約束為預量化值，同時在訓練中引入稀疏正則化損失函數對批標準化層的通道縮放系數進行稀疏化處理，使縮放系數在訓練中逐漸趨于0，在接下來的剪枝階段中用縮放系數來評估通道重要性，為后續剪枝操作做準備；

S2、剪枝階段：首先對預精簡階段中通道縮放系數進行排序統計，設置好剪枝比率后，剪枝掉低于閾值的縮放系數所對應的通道，從而得到剪枝后的模型；

S3、量化階段：首先對剪枝網絡微調訓練并預量化網絡權值，接著將剪枝網絡中預量化權值量化為{±2ⁿ}表示的低精度值，并重訓練網絡的第一層和最后一層來彌補量化帶來的精度損失，得到最終的壓縮模型。

優選的，所述步驟S1預精簡階段的目的是為找到一個適應量化值的剪枝網絡，稱為預精簡網絡。

優選的，所述步驟S1中的約束損失函數，可以將網絡權值約束在集合{±2ⁿ+ε}中，其中ε為一個極小的值。

優選的，所述步驟S2中，由于在預精簡訓練階段中尋找剪枝結構時考慮量化對剪枝的影響，因此可以提高剪枝的有效性，使剪枝結構更適應于量化值，從而提高后續量化的性能表現；此外，預量化值能降低后續量化帶來的噪音并減少量化帶來的精度損失。

優選的，所述步驟S2中的剪枝是對預訓練網絡中低于閾值的縮放參數所對應的通道進行剪枝，然后得到剪枝網絡，接著重訓練剪枝網絡來恢復精度。為鑒別出不重要通道，引入通道縮放系數，讓每一個通道對應一個γ，由于每個通道的縮放系數會乘以此通道的輸出，因此當通道的γ趨于0時此通道輸出也趨于0，即表示此通道不重要，剪枝掉低于閾值的縮放系數對應的通道即可。

優選的，所述步驟S3的量化階段，對剪枝后網絡進行重訓練并預量化，最終將網絡中預量化權值量化到集合Q＝{±2ⁿ|n∈Z}中，同時重訓練網絡的第一層和最后一層以彌補量化帶來的精度損失。

有益效果