[發明專利]一種基于蟻群優化算法和層間信息的結構化模型剪枝方法

在審

• 申請號: 202011581936.X
• 申請日: 2020-12-28
• 公開（公告）號: CN112651499A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 胡浩基;孫騰許
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N3/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

本發明公開了一種基于蟻群優化算法和層間信息的結構化模型剪枝方法，首先基于蟻群優化算法，結合卷積核之間的多個維度的特征，對卷積核的重要性進行評價得分，從而解決現存剪枝方法的考量維度單一性問題。然后在基于蟻群優化算法進行單層得分的基礎上，分析卷積過程中相鄰層之間的信息傳遞過程，考慮相鄰層重要性，對單層的得分結果進行修正并得到最終的卷積核得分。根據卷積核得分對網絡模型進行剪枝。本發明提出的剪枝方法所得模型的精確度較現有剪枝算法所得模型的精確度有較大提升。

技術領域

本發明涉及深度學習、圖像分類、模型壓縮、結構化剪枝等領域，尤其涉及一種基于蟻群優化算法和層間信息的結構化模型剪枝方法。

背景技術

以卷積神經網絡(Convolutional Neural Network,CNN)為代表的深度網絡模型利用大規模網絡從大量數據中學習，在分類、檢測和分割等計算機視覺任務中取得了顯著效果。但同時這些模型也存在著計算量和參數量大的等問題。從而阻礙了這些模型部署在移動和嵌入式設備上。為了降低計算和存儲成本，近年來許多研究工作集中在模型的壓縮和加速這一重要領域。

剪枝是一種很有前景的神經網絡壓縮方法。按照剪枝方法的思想，可以分為基于重要性的剪枝方法和基于正則化的剪枝方法。前者通過設計打分規則來對模型參數或參數組的重要性進行打分，得分低的被認為是不重要而去除。后者通過在目標函數中添加正則項來迫使某些模型參數趨近于0，從而對其進行剪枝。

基于重要性的模型剪枝方法已經已近取得了很大的發展。2015年，S.Han等率先提出了一種三步神經網絡剪枝的方法：(1)訓練一個冗余的網絡；(2)用網絡單元的絕對值大小表示其重要性量度，修剪不重要的網絡單元，獲得一個稀疏網絡；(3)對稀疏網絡進行再訓練，調整剩余網絡單元的權重。他們發現，上述剪枝算法相比直接訓練一個較小的深度網絡，可以達到更高的準確性。但是這個方法以及前人的很多方法都是非結構化的，即所修剪的單元在網絡中位置凌亂，欠缺結構化，因此生成的稀疏網絡在通用硬件平臺上很難實現加速。即便使用稀疏矩陣核，其加速性能也是有限的。為了解決這一問題，后續許多研究工作都集中在結構化剪枝上，結構化剪枝是指對較大的網絡單元進行修剪，如卷積核(Filters)、通道(Channels)或層(Layer)等，它能有效的減少模型占用內存并節省推理時間，同時方便在硬件平臺進行部署加速。幾何中值剪枝(Filter Pruning via GeometricMedian,FPGM)計算每層卷積核的幾何中值(Geometric Median)，與本層幾何中值最接近的卷積核則為層內最可被替代的卷積核，修剪最可被替代的卷積核對模型性能產生的負面影響較小。泰勒展開利用梯度近似每個網絡單元對最終損失函數的影響，而在神經網絡訓練中梯度原本就需要被計算，因此不增加計算量。卷積核聚類法(Filter Clustering)認為如果同層內兩個卷積核是相似的，那么其中一個就可以被認為是冗余的，因此可能被安全移除。但是在深度網絡中兩個卷積核相似度通常不高，因此作者在原始損失函數上加了一個聚類損失項(Cluster Loss)，迫使每個類內的卷積核變得越來越相似，最后移除冗余卷積核。近期也有一些學者研究利用不同層卷積核之間的相互關系進行剪枝，如輕量化網絡(Thinet)基于下一層的統計信息對前一層進行剪枝，旨在最小化后一層特征圖的重建誤差；重要性得分傳播(Importance Score Propagation)計算出最終響應層(FinalResponse Layer)得分后向前傳播，聯合修剪整個神經網絡中的網絡單元；前向剪枝(LOOKAHEAD)算法將2015年S.Han提出的方法推廣到了被評估權值的相鄰層，即評估一個權值的重要性不僅要計算自身L₁范數，還要計算相鄰層間相關聯卷積核的L₁范數。隨著人工智能的不斷發展，自動機器學習(Auto-ML)在剪枝領域也取得了一定的成果。自動化模型壓縮(AutoML for Model Compression)利用強化學習方法對不同層的剪枝率進行搜索，從而找到最合適的剪枝率設定規則。可微的結構化搜索(DARTS)將深度網絡的常用操作如卷積、池化等操作通過連續化的方法進行搜索，從而找到最優的網絡結構。自學習剪枝標準(Learning Filter Pruning Criteria)通過可微分方法，通過最小化損失函數為每個層學習找到最合適的剪枝標準。