[發明專利]基于類別掩碼的神經網絡剪枝方法

在審

• 申請號: 202111005877.6
• 申請日: 2021-08-30
• 公開（公告）號: CN113837377A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 紀榮嶸;張玉鑫
• 申請（專利權）人: 廈門大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森;曾權

基于類別掩碼的神經網絡剪枝方法，涉及人工神經網絡的壓縮與加速。通過對不同通道激活的特征圖的深入可視化，觀察到不同通道對圖像分類中不同類別的貢獻不同。選擇保留有助于大多數類別的渠道。具體來說，為模擬每個通道對差異類別的貢獻，為每個通道分配一個類別掩碼，從而得到每個通道對不同類識別的貢獻。包括以下步驟：1)為神經網絡中每一個通道分配一個類別掩碼，其維度等于數據集圖像類別數；2)基于輸入圖像的類別激活相應的掩碼來進行訓練網絡；3)基于訓練后的類別掩碼進行全局投票，剪枝分數較小的通道；4)對保留下來的卷積核繼續進行訓練，得到最終的剪枝網絡。性能優異且緊湊，具有較好的可解釋性。

技術領域

本發明涉及人工神經網絡的壓縮與加速，尤其是涉及一種基于類別掩碼的神經網絡剪枝方法。

背景技術

卷積神經網絡(CNN)在計算機視覺的多個領域取得巨大的突破，例如圖像分類、圖像超分、目標檢測等，然CNN對計算開銷的巨大需求限制其在移動和小型設備上的應用。為解決該問題，研究人員開發幾種用于CNN壓縮的技術，例如網絡修剪、參數量化、張量分解和知識蒸餾等。其中，通道剪枝因其與通用硬件和基本線性代數子程序(BLAS)庫的方便適配而引起越來越多的關注。

通道剪枝的核心思想是刪除神經網絡中卷積核里的整個通道，從而以較少的計算成本生成原始CNN的子網絡。現有研究大致可分為兩類。第一類方法一般為三步剪枝流程，包括預訓練初始模型模型，選擇“重要”的通道和微調訓練子網絡。通常，該類別的大多數工作都將重點放在第二步，即找出過濾器重要性估計值，例如l1范式、幾何信息和激活值稀疏程度，或將通道剪枝視為優化問題。第二類通過對網絡進行從頭開始的重新訓練并在每個通道上施加額外的稀疏性約束來實現動態的通道剪枝。

盡管通道剪枝過去幾年取得進步，但現有的方法只通過觀察CNN輸出，即最終分類性能來進行通道剪枝，而幾乎沒有考慮CNN模型的內部影響。Li等人(Hao Li,Asim Kadav,Igor Durdanovic,Hanan Samet,and Hans Peter Graf.Pruning filters for efficientconvnets.In Proceedings of the International Conference on LearningRepresentations[C],2017)刪除具有較小l1范數的通道，實際上可以將其視為使原始模型與修剪后的模型之間的輸出差異最小化。CNN內的大量非線性操作使得研究人員無法解釋剪枝內部的原理，因此，現有方法選擇將CNN視為黑盒，并觀察網絡修剪的最終輸出。從這個角度來看，這些方法可稱為“黑盒剪枝”。

盡管如此，解深層CNN的內部解釋已引起越來越多的關注，這也推進各種視覺任務的進步。例如，Zeiler等人(Matthew D Zeiler and Rob Fergus.Visualizing andunderstanding convolutional networks.In European conference on computervision[C],pages 818–833.Springer,2014)通過內部特征圖的可視化調整架構贏得ILSVRC-2013冠軍。受此啟發，認為探索CNN的內部邏輯可能是指導頻道修剪的有前途的前景。Yosinki等人(Jason Yosinski,Jeff Clune,Anh Nguyen,Thomas Fuchs,and HodLipson.Understanding neural networks through deep visualization.In DeepLearning Workshop,International 1053Conference on Machine Learning[C],2015)發現每個通道會激活一個特征圖中的特定區域。

發明內容

本發明的目的在于針對目前已有剪枝方法中的不可解釋性，可能導致次優性能等問題，提供具有可解釋性的、高效的一種基于類別掩碼的神經網絡剪枝方法。為模擬每個通道對差異類別的貢獻，為每個通道分配一個類別掩碼，從而得到每個通道對不同類識別的貢獻。