[發明專利]一種基于模型剪枝的輕量化圖像分類方法、系統及設備

有效

• 申請號: 202011553183.1
• 申請日: 2020-12-24
• 公開（公告）號: CN112668630B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 陳靚影;徐如意;楊宗凱;柏寶
• 申請（專利權）人: 華中師范大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢東喻專利代理事務所(普通合伙) 42224
• 代理人: 雷霄

1.一種基于模型剪枝的輕量化圖像分類方法，其特征在于，包括步驟：

獲取訓練集，將所述訓練集輸入到卷積神經網絡中，通過預先訓練獲得圖像分類模型；

獲取評價集，所述評價集中的評價樣本被標記有樣本標簽，將所述評價集輸入到所述圖像分類模型，獲取所述圖像分類模型的每個卷積層的每個通道輸出的提取特征，根據所述圖像分類模型的每個卷積層的每個通道的提取特征與樣本標簽的互信息計算所述圖像分類模型的每個卷積層的每個通道的重要性指標；

根據所述重要性指標對所述圖像分類模型的卷積層的通道進行剪枝，利用剪枝后的所述圖像分類模型進行圖像分類；

所述根據所述重要性指標對所述圖像分類模型的卷積層的通道進行剪枝包括步驟：

根據所述重要性指標和預設的剪枝比例，將所述圖像分類模型的同一卷積層的通道分為保留組和冗余組；

對所述圖像分類模型的每個卷積層的每個通道在輸出時引入尺度因子，使得所述圖像分類模型的每個卷積層的每個通道的提取特征乘以該通道對應的尺度因子后再輸入到下一卷積層；

根據每個卷積層的通道分組以及尺度因子計算每個卷積層的注意力正則化函數，根據所述注意力正則化函數和預先訓練所述圖像分類模型的原損失函數構建新的總損失函數，利用所述總損失函數再次對所述圖像分類模型的參數進行優化；

將所述圖像分類模型的每個卷積層的屬于冗余組的通道移除；

利用所述原損失函數對剪枝后的所述圖像分類模型的參數再次進行優化；

所述重要性指標的計算包括步驟：

所述評價集的評價樣本記為x_i，x_i∈S,i＝1,…,N，N表示所述評價集中評價樣本的個數，所述圖像分類模型的卷積層的個數記為L，所述圖像分類模型的每個卷積層的通道數為C_l,l＝1,…,L,所述圖像分類模型的第l層輸出的提取特征記為F_l；

將特征F_l輸入一個全局平均池化層，得到第l個卷積層C_l個通道輸出的提取特征重復N次，得到N個評價樣本在第l個卷積層C_l個通道輸出的提取特征集合將所述評價集的評價樣本的樣本標簽記為y_i，樣本標簽集合記為Y，Y＝{y₁,…,y_N}；

計算在集合中出現的概率表示出現的次數，計算y_i在Y中出現的概率為兩者的聯合分布概率，則得到第l個卷積層第k個通道的重要性指標的計算方法為：

2.如權利要求1所述的一種基于模型剪枝的輕量化圖像分類方法，其特征在于，所述分為保留組和冗余組包括步驟：

根據所述重要性指標從大到小，對所述圖像分類模型的同一個卷積層中的通道進行排序，為第k個通道賦予順序索引J(k)；

按照所述剪枝比例將所述圖像分類模型的同一個卷積層的通道分為保留組和冗余組，保留組表示為G_H＝{k|J(k)≤βC_l}，冗余組表示為G_L＝{k|J(k)βC_l}，其中β為所述剪枝比例。

3.如權利要求2所述的一種基于模型剪枝的輕量化圖像分類方法，其特征在于，所述注意力正則化函數為：其中，δ為預設的參數。

4.如權利要求3所述的一種基于模型剪枝的輕量化圖像分類方法，其特征在于，所述總損失函數為：其中為預先訓練所述圖像分類模型的交叉熵損失函數。

5.如權利要求1所述的一種基于模型剪枝的輕量化圖像分類方法，其特征在于，所述圖像分類模型的輸入為32*32位的圖像。

6.如權利要求1所述的一種基于模型剪枝的輕量化圖像分類方法，其特征在于，將所述圖像分類模型部署在移動終端上。