[發明專利]一種卷積神經網絡的剪枝方法、裝置、設備和介質

有效

• 申請號: 202110428305.2
• 申請日: 2021-04-21
• 公開（公告）號: CN113011588B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 張維緯;周密;余浩然
• 申請（專利權）人: 華僑大學
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發明提供一種卷積神經網絡的剪枝方法、裝置、設備和介質，方法包括：獲取圖像的數據集并分為訓練集與驗證集；將待剪枝的卷積神經網絡模型進行初始化后，對訓練集中的圖像進行多輪預訓練，確定網絡的敏感層；通過強化學習進行多輪自動化剪枝操作，得到每輪剪枝操作的模型精確度，從而獲得模型精度最高的模型剪枝策略；其間，根據強化學習的確定性策略，對網絡的敏感層和非敏感層實行不同的壓縮策略，來對各網絡層的濾波器數量進行剪枝；執行微調操作，得到最終的卷積神經網絡模型。本發明從模型剪枝的最開始就介入強化學習，根據環境優化模型的剪枝策略，且剪枝的對象是完整濾波器，不會造成模型的不規則，大大提高了泛化性。

技術領域

本發明涉及計算機技術領域，特別涉及一種卷積神經網絡的剪枝方法、裝置、設備和介質。

背景技術

近年來，一方面深度更深的神經網絡的研究所獲得的模型效果越來越好，另一方面，隨著無人駕駛與智能移動設備等相關領域的不斷發展與創新，對適合應用于計算能力較弱的邊緣設備上的深度神經網絡模型的要求也在逐漸提高。而由于深度神經網絡的特性，將其部署在移動設備上時，其所包含的參數量以及浮點計算量都是極其龐大的。例如，使用107層深度的YOLO?v3網絡檢測416×416分辨率的圖像時將產生240MB的參數和進行多達650億次的乘法累加計算。在45nm?CMOS工藝下，該目標檢測方法僅僅訪問DRAM即耗能41.6W。此外，在GPU上運行該模型進行實時目標檢測成本高昂。例如，在NVIDIA?Tesla?T4上運行YOLO?v3每秒可實時檢測40幀圖像，但該模塊市場售價近三萬元，遠超出普遍經濟承受能力。現有的神經網絡模型很難做到在低成本設備上對模型精確性與計算速度的兼顧。

隨著移動邊緣設備的發展，其對精度的高依賴正逐步轉化為在保持精度不降低或者僅略微降低的情況下盡可能的保證低的存儲空間占用以及次數少的浮點計算量。基于這樣一種趨勢，必須對卷積神經網絡模型進行剪枝，從而可以將原本應用于高性能計算機上的神經網絡經壓縮后，用于部署于移動邊緣設備上。然而現有的神經網絡的剪枝方法存在如下不足：

(1)現有的神經網絡的剪枝方法大都需要人工專家不斷調節參數來達到最佳的剪枝效果，從實際效果來說十分耗時，同時達到的效果容易出現局部最佳或者次優的情況。

(2)現有的模型剪枝方法著眼于模型中的權重修剪，此方式需要特定的硬件支持，泛化性較差。同時絕大多數剪枝策略都是基于規則的啟發式方法，此類方法著重于濾波器重要性的排序與修剪，這樣的方式很可能導致次優修剪。

20210105公開的，公開號為CN112183746A的中國發明公開了一種敏感度分析和強化學習的神經網絡剪枝方法、系統及裝置，包括：設定稀疏度閾值步驟，選擇低敏感度的權重進行剪枝；獲取裁剪辦法和精度步驟，根據上述的敏感度權重確定需要進行隨機剪枝的權重；對被選定的每一個權重進行隨機裁剪，將多次隨機裁剪的剪枝辦法和精度放入緩沖區；訓練強化學習步驟，利用緩沖區中的數據訓練強化學習代理，訓練后生成的裁剪辦法和精度放入緩沖區；重復進行，直到網絡精度達到預設值。本發明選擇低敏感度的權重進行剪枝，設定各權重的稀疏度閾值保證被裁剪的權重采用當前稀疏度進程裁剪后，網絡下降的精度保持在預設范圍以內。在保證網絡精度的情況下，最大化的提升了神經網絡的壓縮率。但是該發明是先針對神經網絡模型的權重進行剪枝，然后微調，最后獲得精度數據。如此多次重復以后將前面的剪枝的方法與對應的精度進行記錄，以此訓練強化學習，最后通過強化學習進行預測，實為一種服從正態分布中的隨機策略，從而導致強化學習的實際應用并不充分。同時，該發明是針對權重而非完整濾波器進行的模型剪枝操作，勢必會造成模型的不規則，在實際使用中泛化性差，還需要特定的硬件支持。

發明內容

本發明要解決的技術問題，在于提供一種卷積神經網絡的剪枝方法、裝置、設備和介質，從模型剪枝的最開始就介入強化學習，根據環境優化模型的剪枝策略，其為一種確定的策略，且剪枝的對象是完整濾波器，不會造成模型的不規則，大大提高了泛化性。

第一方面，本發明提供了一種卷積神經網絡的剪枝方法，包括下述步驟：