[發明專利]基于神經網絡結構微調的圖像分類方法、裝置和存儲介質

在審

• 申請號: 202310450659.6
• 申請日: 2023-04-25
• 公開（公告）號: CN116188878A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 常璟飛;曾令仿;李勇;程穩;蔣科;吳洵進;陳光;朱健;王鵬程
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06V10/774;G06V10/776;G06N3/0464;G06N3/082
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 何曉春

本申請涉及一種基于神經網絡結構微調的圖像分類方法、裝置和存儲介質，用于對特征圖進行處理，所述特征圖由圖像數據集輸入神經網絡所獲得，所述方法包括：基于圖像數據集的訓練集和驗證集，獲取待剪枝神經網絡各特征圖的最小絕對偏差，從而確定各特征圖的剪枝閾值對特征圖進行剪枝，得到剪枝結構；量化剪枝結構，獲取量化后剪枝結構的圖像分類精度的損失值；基于損失值和剪枝結構的最大迭代周期，對剪枝結構進行微調，得到圖像分類特征模型；最后將待測圖像輸入圖像分類特征模型得到分類結果，實現圖像分類神經網絡模型剪枝范圍的自適應調整和對剪枝模型的結構微調量化，提高利用顯著壓縮的圖像分類特征模型進行圖像分類處理的分類精度和速度。

技術領域

本申請涉及人工智能領域，特別是涉及一種基于神經網絡結構微調的圖像分類方法、裝置和存儲介質。

背景技術

隨著神經網絡技術的發展，無論是在計算機視覺、自然語言處理還是圖像生成方面，目前深度神經網絡表現出來的性能都是最優的。然而，它們在計算能力、內存以及能源消耗方面的高昂成本，使得大部分企業因為有限的硬件資源而完全負擔不起訓練的費用，并且隨著模型結構和規模越來越復雜，極大地限制了高性能模型在資源受限場景中的部署和應用。此外，較大的模型在處理部分任務時存在明顯的參數冗余性，導致在訓練過程中出現過擬合現象，直接影響模型的最終性能。冗余的模型規模所帶來的存儲開銷、時間開銷、能耗開銷、性能損失等都極大地阻礙了人工智能技術的進一步發展和應用，但是許多領域都受益于神經網絡，尤其是針對圖像數據分類的場景，因此對圖像分類神經網絡進行壓縮無疑是一個降低成本的辦法。

基于上述問題和困難，如何在可接受的精度損失范圍內盡可能地對圖像分類神經網絡模型進行壓縮和加速已經成為十分重要又迫切的研究熱點。現有的對圖像分類神經網絡的壓縮方法主要包括剪枝、量化、低秩分解和知識蒸餾等，其中剪枝和量化憑借易于實施和加速效果顯著的優點受到了廣泛關注。主流的剪枝方法較為依賴人工干預，但部分自動剪枝策略又存在內存占用和能耗成本較高的問題；主流的量化方法直接量化圖像分類數據的原實值模型的參數，忽略了對圖像分類模型結構的調整優化，且量化通常會造成一定程度的圖像分類精度的下降。因此如何將剪枝與量化高效地結合，使得在進行圖像數據分類處理時，既能夠保證利用圖像分類神經網絡模型進行圖像分類時輸出的圖像分類精度，又能實現圖像分類模型的顯著壓縮和加速是目前研究和應用領域的難點。

發明內容

基于此，有必要針對上述技術問題，提供能夠在圖像數據處理時自適應調整圖像分類模型的剪枝和量化過程并提高圖像分類模型在顯著壓縮和加速后進行圖像分類處理的圖像分類精度的一種基于神經網絡結構微調的圖像分類方法、裝置和存儲介質。

第一方面，本申請提供了一種基于神經網絡結構微調的圖像分類方法，用于對特征圖進行處理，所述特征圖由圖像數據集輸入神經網絡所獲得，所述方法包括：

基于所述圖像數據集中的訓練集，對所述神經網絡進行預訓練，獲取待剪枝神經網絡；

基于所述圖像數據集中的驗證集，獲取所述待剪枝神經網絡的卷積層各特征圖的最小絕對偏差，其中所述最小絕對偏差為生成特征圖的圖像數據絕對值之和；

基于各所述特征圖的最小絕對偏差，確定各所述特征圖的剪枝閾值，對所述待剪枝神經網絡的特征圖進行剪枝，獲取剪枝后的剪枝結構；

訓練并量化所述剪枝結構，獲取量化后的所述剪枝結構相較于所述待剪枝神經網絡的圖像分類精度的損失值；

基于所述損失值和所述剪枝結構的最大迭代周期，對所述剪枝結構進行迭代微調，輸出所述剪枝結構微調后的圖像分類特征模型；

將待測圖像輸入所述圖像分類特征模型，得到分類結果。

在其中一個實施例中，基于各所述特征圖的最小絕對偏差，確定各所述特征圖的剪枝閾值包括：

基于待剪枝神經網絡的卷積層中生成各特征圖的最小絕對偏差，獲取各所述特征圖的重要性分數；

基于所述重要性分數和所述待剪枝神經網絡的剪枝因子，確定各所述特征圖的剪枝閾值。