[發明專利]壓縮分類神經網絡的方法和裝置

在審

• 申請號: 202111146344.X
• 申請日: 2021-09-28
• 公開（公告）號: CN115879531A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 胡文政;車正平;劉寧;唐劍
• 申請（專利權）人: 北京航跡科技有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/04;G06V10/774;G06V10/764;G06V10/82
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 馬明月

1.一種壓縮分類神經網絡的方法，包括：

獲取針對分類神經網絡的卷積層的候選裁剪方案，所述候選裁剪方案指示所述卷積層的多個通道中的一組通道將被保留；

利用所述分類神經網絡處理一組樣本，以確定與所述一組通道相關聯的特征圖；

基于所述特征圖，確定第一度量和第二度量，所述第一度量指示所述一組樣本中具有相同類別的樣本的特征表示之間的第一差異，所述第二度量指示具有不同類別的樣本的特征表示之間的第二差異；以及

基于所述第一度量和所述第二度量，更新所述候選裁剪方案，以確定用于裁剪所述分類神經網絡的所述卷積層的目標裁剪方案。

2.根據權利要求1所述的方法，其中更新所述候選裁剪方案包括：

基于所述第一度量和所述第二度量，確定所述多個通道的得分，所述得分指示相應通道對于所述第一度量和所述第二度量的影響程度；以及

基于所述多個通道的所述得分，更新所述候選裁剪方案。

3.根據權利要求2所述的方法，其中所述一組通道為第一組通道，并且基于所述多個通道的所述得分更新所述候選裁剪方案包括：

確定所述第一度量和所述第二度量之間的第一度量差異；以及

迭代地執行以下過程：

基于所述第一度量差異，更新所述多個通道的所述得分；

基于所述多個通道的更新的所述得分，從所述多個通道中確定將被保留的第二組通道；

基于所述第二組通道，確定更新的第一度量和更新的第二度量之間的第二度量差異；

如果所述第一度量差異與所述第二度量差異之間的差小于預定閾值，則基于所述第二組通道確定所述目標裁剪方案并終止迭代；以及

如果所述第一度量差異與第二度量差異之間的差大于或等于所述預定閾值，則將所述第二度量差異確定作為新的第一度量差異。

4.根據權利要求1所述的方法，還包括：

基于所述分類神經網絡的目標壓縮程度，確定所述多個通道中將被保留的所述一組通道的目標數目。

5.根據權利要求4所述的方法，其中所述目標壓縮程度指示裁剪后的分類神經網絡的目標浮點計算數。

6.根據權利要求4所述的方法，其中所述分類神經網絡包括多個卷積層，并且確定所述多個通道中將被保留的所述一組通道的目標數目包括：

基于在所述多個卷積層中保留額外通道引起的性能變化，確定多個收益因子；

基于在所述多個卷積層中保留額外通道引起的浮點計算數的變化，確定多個開銷因子；以及

基于所述多個收益因子和所述多個開銷因子，確定所述多個卷積層的每個卷積層中被保留的通道的數目。

7.根據權利要求1所述的方法，還包括：

基于所述目標裁剪方案，壓縮所述分類神經網絡；以及

使經壓縮的所述分類神經網絡部署于目標計算設備，所述目標計算設備的計算資源數目小于閾值數目。

8.根據權利要求1所述的方法，其中所述一組樣本為一組圖像樣本，所述分類神經網絡是用于圖像處理的分類神經網絡。

9.一種用于壓縮分類神經網絡的裝置，包括：

獲取模塊，被配置為獲取針對分類神經網絡的卷積層的候選裁剪方案，所述候選裁剪方案指示所述卷積層的多個通道中的一組通道將被保留；

處理模塊，被配置為利用所述分類神經網絡處理一組樣本，以確定與所述一組通道相關聯的特征圖；

分析模塊，被配置為基于所述特征圖，確定第一度量和第二度量，所述第一度量指示所述一組樣本中具有相同類別的樣本的特征表示之間的第一差異，所述第二度量指示具有不同類別的樣本的特征表示之間的第二差異；以及

更新模塊，被配置為基于所述第一度量和所述第二度量，更新所述候選裁剪方案，以確定用于裁剪所述分類神經網絡的所述卷積層的目標裁剪方案。