[發明專利]通道全局排序指導剪枝和量化聯合的神經網絡壓縮方法

在審

• 申請號: 202211217914.4
• 申請日: 2022-09-30
• 公開（公告）號: CN115661511A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 謝衛瑩;樊瀟怡;張鑫;李云松;雷杰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/0495;G06N3/082
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

本發明公開了一種通道全局排序指導剪枝和量化聯合的神經網絡壓縮方法，包括下述步驟：獲取訓練樣本集和測試樣本集；構建圖像分類卷積神經網絡模型；對圖像分類卷積神經網絡模型進行迭代訓練；計算訓練好的圖像分類卷積神經網絡模型中所有通道的重要性得分并獲取剪枝量化后的圖像分類卷積神經網絡模型；更新剪枝量化后的圖像分類卷積神經網絡模型；獲取圖像分類卷積神經網絡的壓縮結果。本發明在通道重要性的全局排序指導下對圖像分類卷積神經網絡模型聯合進行剪枝和量化，解決了現有技術中存在的僅在同一層內比較通道重要性且剪枝和量化互不相關導致在指定壓縮比下壓縮后網絡相比于未壓縮網絡的分類準確性的下降值大的問題。

技術領域

本發明屬于深度學習領域，涉及一種卷積神經網絡壓縮方法，具體涉及一種通道全局排序指導剪枝和量化聯合的神經網絡壓縮方法，可用于在計算、存儲資源受限的邊緣設備上部署圖像分類卷積神經網絡并完成圖像分類任務。

背景技術

卷積神經網絡目前已經在視頻、圖像和語音等信息的處理過程中取得了巨大的成功，這得益于它越來越深和越來越寬的模型架構，但由此也產生了網絡推理過程的計算復雜度高和內存空間占用大的問題，使得在計算、存儲資源受限的邊緣設備上部署卷積神經網絡受到限制，尤其是對于移動平臺、智能化嵌入式設備、現場可編程邏輯門陣列等需要實時推理完成信息處理的硬件，進而導致卷積神經網絡在許多場景，如森林火災救援、人臉識別等中的應用受到阻礙。

因此，既能降低計算復雜度、減少內存占用空間，又能保持卷積神經網絡性能的卷積神經網絡壓縮方法被提出，具體包括剪枝、量化、低秩分解、知識蒸餾等，這些方法可以單獨使用，也可以聯合使用。其中，剪枝和量化的應用更為廣泛。剪枝是刪除卷積神經網絡中卷積層的部分通道；量化是將權值參數或激活層輸出值的浮點數形式轉換為比特位表示的整數形式，并且是硬件部署前必不可少的操作。衡量圖像分類卷積神經網絡壓縮方法的標準是在指定壓縮比下壓縮后網絡相比于未壓縮網絡的分類準確性的下降值大小，下降值越小，則壓縮后網絡的性能越好。

Yu Po-Hsiang等人在2020年發表的論文“Joint PruningQuantization forExtremely Sparse Neural Networks”(arXiv preprint arXiv:2010.01892)中，公開了一種剪枝和量化聯合的圖像分類卷積神經網絡模型壓縮方法，該方法首先提出一個泰勒評分來評價二維卷積層的所有通道在同一層內的通道重要性，然后根據每個二維卷積層的每個通道的泰勒評分，對泰勒評分低于預設閾值的通道進行刪除，在完成剪枝后，手動指定權重和激活層的量化位寬，通過微調得到壓縮后的圖像分類卷積神經網絡模型壓縮方法。但是，該方法仍然存在的不足之處是，二維卷積層的通道重要性的比較范圍只是在同一層內，而且剪枝和量化本質上是互不相關的，并不能確保最大化各自的優勢，因此導致在指定壓縮比下壓縮后網絡相比于未壓縮網絡的分類準確性的下降值大。

發明內容

本發明的目的在于針對上述現有技術的不足，提出一種通道全局排序指導剪枝和量化聯合的神經網絡壓縮方法，用于解決現有技術中存在的僅在同一二維卷積層內比較通道重要性且剪枝和量化本質上互不相關導致在指定壓縮比下壓縮后網絡相比于未壓縮網絡的分類準確性的下降值大的問題。

為實現上述目的，本發明采取的技術方案包括如下步驟：

(1)獲取訓練樣本集和測試樣本集：

獲取包括M個目標類別且每個類別包含N幅RGB圖像的數據集X，并對每幅RGB圖像中的圖像類別進行標注，然后隨機選取數據集X中每類別包含的N₀幅圖像，并將所選取的共MN₀幅RGB圖像及其標簽組成訓練樣本集X_train，將剩余的M(N-N₀)幅RGB圖像及其標簽組成測試樣本集X_test，其中M≥10，N≥6000，N₀≥0.8N；

(2)構建圖像分類卷積神經網絡模型O并對其進行迭代訓練：