[發明專利]一種基于feature map重要性得分的通道剪枝方法及系統

在審

• 申請號: 201910853897.5
• 申請日: 2019-09-10
• 公開（公告）號: CN110555518A
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 郝虹;高巖;姜凱;于治樓;李朋
• 申請（專利權）人: 山東浪潮人工智能研究院有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 37100 濟南信達專利事務所有限公司
• 代理人: 姜明

1.一種基于feature map重要性得分的通道剪枝方法，其特征在于：該方法通過計算分類前一層神經元對分類的重要性得分，并反向傳播該得分至前層所有神經元，根據神經元得分計算feature map得分，進而根據feature map得分選擇剪枝通道，再修正相應kernel中的權重以減小feature map的重構誤差。

2.根據權利要求1所述的基于feature map重要性得分的通道剪枝方法，其特征在于：該方法具體包括以下步驟：

S1、計算網絡倒數第二層所有神經元對分類的重要性得分；

S2、反向傳播步驟S1中神經元得分至前面所有層神經元；

S3、以feature map為單位，綜合所有神經元得分，計算每個feature map得分；

S4、根據feature map得分，逐層剪枝通道及其對應的kernel，并最小化對應輸出層feature map重構誤差來修正權重。

3.根據權利要求2所述的基于feature map重要性得分的通道剪枝方法，其特征在于：該方法還包括以下步驟：

S5、待所有層feature map剪枝完成，權重更新完成后，根據任務需要選擇重新對權重進行整體微調。

4.根據權利要求3所述的基于feature map重要性得分的通道剪枝方法，其特征在于：使用特征選擇方法計算網絡倒數第二層所有神經元對分類的重要性得分，所述倒數第二層即為分類結果的前一層。

5.根據權利要求4所述的基于feature map重要性得分的通道剪枝方法，其特征在于：計算feature map的得分，包括求feature map上所有神經元得分均值或求feature map上所有神經元得分總和。

6.根據權利要求5所述的基于feature map重要性得分的通道剪枝方法，其特征在于：所述修正權重為在原始權重基礎上進行調整。

7.一種基于feature map重要性得分的通道剪枝系統，其特征在于：該系統包括以下模塊：

第一計算單元：用于計算網絡倒數第二層所有神經元對分類的重要性得分；

神經元得分反向傳播模塊：用于反向傳播神經元得分至前面所有層神經元；

第二計算單元：用于以feature map為單位，綜合所有神經元得分，計算每個featuremap得分；

權重修正模塊：用于根據feature map得分，逐層剪枝通道及其對應的kernel，并最小化對應輸出層feature map重構誤差來修正權重。

8.根據權利要求7所述的基于feature map重要性得分的通道剪枝系統，其特征在于：還包括微調模塊，用于待所有層feature map剪枝完成，權重更新完成后，根據任務需要選擇重新對權重進行整體微調。

9.根據權利要求8所述的基于feature map重要性得分的通道剪枝系統，其特征在于：第一計算單元使用特征選擇方法計算網絡倒數第二層所有神經元對分類的重要性得分，所述倒數第二層即為分類結果的前一層。

10.根據權利要求9所述的基于feature map重要性得分的通道剪枝系統，其特征在于：第二計算單元計算feature map的得分，包括求feature map上所有神經元得分均值或求feature map上所有神經元得分總和。