[發明專利]一種基于高秩卷積圖的核剪枝方法、裝置、設備及介質

在審

• 申請號: 202110764521.4
• 申請日: 2021-07-06
• 公開（公告）號: CN113592085A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 魏聰;王致遠;鐘沖;葉宏;谷雨;張顏
• 申請（專利權）人: 廈門路橋信息股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 廈門創象知識產權代理有限公司 35232
• 代理人: 廖吉保

本發明提供一種基于高秩卷積圖的核剪枝方法、裝置、設備及介質，方法包括將訓練圖片輸入到待剪枝的深度神經網絡模型中，計算待剪枝的深度神經網絡模型中每一個卷積核所產生的特征圖的平均秩；根據卷積核所產生的特征圖的平均秩，將待剪枝的深度神經網絡模型中的各個卷積核按照由小到大的順序進行排序；給定卷積核的剪枝目標，根據剪枝目標對待剪枝的深度神經網絡模型的卷積核進行剪枝；利用剪枝后保留在深度神經網絡模型中的卷積核繼續訓練深度神經網絡模型。本發明的技術方案相對于已有的方法來說，訓練效率高，且沒有引入其他額外的人工約束條件，無須引入新變量來訓練剪枝后的網絡，人工開銷小。

技術領域

本發明涉及計算機技術領域，特別涉及一種基于高秩卷積圖的核剪枝方法、裝置、設備及介質。

背景技術

目前深度神經網絡已經席卷人工智能各個領域，包括語音識別、圖像理解、自然語言處理等在內的廣泛領域。不僅如此，深度神經網絡在復雜的系統中也得到了廣泛使用，如自動駕駛、復雜游戲的策略搜索等。深度神經網絡在很多識別任務中已大大超越了人類識別的準確率，同時突破了傳統的技術方法，帶來了巨大的性能提升。這些性能的提升是因為深度神經網絡擁有對大數據高層特征提取的能力。伴隨著深度神經網絡模型的性能增加，神經網絡的深度越來越深，接踵而至的是深度網絡模型的高存儲高功耗弊端，嚴重制約著深度神經網絡在資源有限的應用環境和實時在線處理的應用，特別是智能化移動嵌入式設備等在線學習和識別任務。例如8層的AlexNet裝有600 000個網絡節點、0.61億個網絡參數，需要花費240MB內存存儲和7.29億浮點型計算次數(FLOPs)來分類一幅分辨率為224x224的彩色圖像。同時，伴隨著神經網絡模型深度的加深，存儲的開銷將變得越來越大。同樣分類一幅分辨率為224x224的彩色圖像，如果采用擁有比8層AlexNet更多的16層VGGNet,則有1 500 000個網絡節點、1.44億個網絡參數，需要花費528MB內存存儲和150億浮點型計算次數。

一方面，擁有百萬級以上的深度神經網絡模型內部存儲大量冗余信息，因此并不是所有的參數和結構都對產生深度神經網絡判別性起作用；另一方面，用淺層或簡單的深度神經網絡無法在性能上逼近百萬級的深度神經網絡。因此，通過壓縮和加速原始深度網絡模型，使之直接應用于移動嵌入式設備將成為一種有效的解決方案。近幾年來深度神經網絡壓縮和加速方面的最新研究進展，特別是圖像分類任務上卷積神經網絡壓縮與加速方法，主要包括五種主流方法，即(1)參數剪枝；(2)參數共享；(3)低秩分解；(4)緊性網絡設計；(5)知識蒸餾。

參數/網絡剪枝旨在移除冗余、信息量少的權值，減少網絡模型的參數，從而壓縮模型的存儲與加速模型的計算。不僅如此，通過參數剪枝也可防止模型過擬合。根據一次性刪除權值的位置不同，參數剪枝可細分為非結構化剪枝和結構化剪枝。非結構化剪枝通過刪除權值中任何位置的不重要參數，減少模型存儲，而結構化剪枝對去除權值的位置加以一定的限制，常用的有濾波剪枝(filter or channel pruning)、層剪枝(layer pruning)、塊剪枝(block pruning)等。雖然非結構剪枝能大大降低模型的存儲，但由于非結構化剪枝沒有對剪枝權值的位置做任何限制，導致剪枝后的權值是無規則稀疏的，影響了網絡計算效率，需借助額外的軟硬件才能獲得真正加速，不適用于通用型模型架構(如：CPU/GPU)。結構化剪枝能夠克服非結構化剪枝中存在的缺點，無縫融合現有深度學習框架，但壓縮參數較為有限。