[發明專利]一種基于K-NN圖模塊度的模型剪枝識別方法及系統

在審

• 申請號: 202111571284.6
• 申請日: 2021-12-21
• 公開（公告）號: CN114266922A
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 宣琦;陳依萍;楊文
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

一種基于K?NN圖模塊度的模型剪枝識別方法，包括以下步驟：S1：樣本輸入優化模型獲取預訓練模型；S2：利用特征表示和特征距離獲取一系列K?NN圖；S3：構建動態圖，標簽劃定社區計算K?NN圖模塊度；S4：根據模塊度識別冗余層修剪范圍，模型剪枝處理；S5：重復訓練得到最終模型；S6：分類器模型進行生物分類。本發明還包括一種基于K?NN圖模塊度的模型剪枝識別方法的系統，該系統由模型獲取模塊，構建K?NN模塊，動態圖模塊度計算模塊，冗余層識別剪枝模塊和生物分類模塊依次連接構成。本發明將預訓練模型特征表示中的類分離過程建模為動態圖中社區的演化過程，無需對準確率增加恢復措施，獲得具有高準確率的剪枝后模型，從而提高生物分類的效率。

技術領域

本發明涉及生物分類和神經網絡領域，特別涉及一種基于K-NN圖模塊度的剪枝模型方法及系統。

背景技術

生物分類是研究自然界組成的重要方式，通過對生物的特征相似性分析，對物種進行種屬分類，探究生物起源和自然的演化。通過生物分類可以了解同種屬生物的相似生活習性，有利于保護現有生態系統以及現存瀕危生物種。目前對于生物的研究多以圖片視頻的方式進行分類來探究生物特征，圖分類是一種有效的生物分類的實現方式。

圖像分類，是一種對輸入圖像進行分析，對輸出圖像信息描述進行分類的過程。圖像的輸入是一個元素為像素值的數組，給其分配分類標簽。傳統的圖分類使用特征描述及檢測，僅對一些簡單圖像分類是有效的，不適用多數數量龐大，圖像復雜的圖。于是我們采用深度學習的方式，模型輸入圖像數據，利用機器學習，學習到每個類的特征后采用數據驅動的方式進行圖分類。第一步輸入是需要將已經做好分類標注的圖作為訓練集，訓練集為具有多個圖像的集合，每個圖像的標簽是多種分類標簽中的一種；第二步學習是讓分類器使用訓練集學習每個類別的特征，而不是直接對圖像進行特征分類，使用k-NearestNeighbor分類器，找最相似的k個圖片的標簽，然后讓他們針對測試圖片進行投票，最后把票數最高的標簽作為對測試圖片的預測；最后將分類器預測的分類結果與真實的分類結果比對，準確率越高表示該分類器效果越好。

卷積神經網絡已經成為計算機視覺任務例如圖像分類、目標檢測、語義分割等的主要解決方法。近年來，為了解決深度學習模型高存儲空間和耗費高等問題，深度模型剪枝壓縮就成為了一種減少模型存儲要求并且不影響精度的優化手段。最先進的神經網絡往往涉及非常深的網絡，必然帶來大量的參數計算操作。因此，人們在設計緊湊型模型方面做了大量的工作，模型剪枝是其中的一種方法。神經網絡的參數眾多，模型剪枝將對最終的輸出結果貢獻不大而顯得冗余的參數剪掉。作為一個迭代的過程，模型剪枝通常稱為“迭代式剪枝”；迭代的過程就是剪枝和模型訓練兩者的交替重復。

本發明重點是關注以往不能對冗余層準確量化從而定點進行剪枝的問題。CN202110838976.6一種高效的深度卷積神經網絡剪枝方法，通過基于ADMM算法的稀疏學習方法優化縮放因子使網絡結構稀疏化，利用遺傳算法和適應度函數搜索出最佳裁剪率進行剪枝處理；CN202110947826.9一種基于PCA的神經網絡剪枝方法，利用PCA對卷積核參數處理，通過百分比參數計算保留的卷積核個數和參數重建神經網絡從而粗剪枝處理；CN2021111033764.7一種稀疏網絡結構剪枝方法及裝置，將GroupLasso應用于具有結構化稀疏項的正則函數，從獲取的優化目標函數得到通道權重，根據權重判斷進行剪枝；CN202110903135.9一種基于概率的MobilenetV1網絡通道剪枝方法，計算交叉熵和BN縮放因子的損失函數結合MobilenetV1網絡得到通道概率進行剪枝，融合下層的BN偏移因子來保證準確度。可以看出，目前的剪枝技術都是在原來的預訓練模型的基礎上，計算損失函數，通過各種方式獲得對通道的權重概率進行剪枝或者根據保留參數構建新的訓練模型，而后再其他操作恢復模型精確度。目前存在的模型剪枝過程步驟繁瑣，推進速度慢，計算量大，很難保證剪枝后的模型精確度要求，所以如何設計步驟簡單且精度較高的模型剪枝技術是當前研究的難點。

發明內容