[發明專利]壓縮分類神經網絡的方法和裝置

在審

• 申請號: 202111146344.X
• 申請日: 2021-09-28
• 公開（公告）號: CN115879531A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 胡文政;車正平;劉寧;唐劍
• 申請（專利權）人: 北京航跡科技有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/04;G06V10/774;G06V10/764;G06V10/82
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 馬明月

根據本公開的實施例，提供了一種壓縮分類神經網絡的方法、裝置、電子設備、計算機存儲介質和計算機程序產品。在此描述的方法包括：獲取針對分類神經網絡的卷積層的候選裁剪方案，候選裁剪方案指示卷積層的多個通道中的一組通道將被保留；利用分類神經網絡處理一組樣本，以確定與一組通道相關聯的特征圖；基于特征圖，確定第一度量和第二度量；以及基于第一度量和第二度量，更新候選裁剪方案，以確定用于裁剪分類神經網絡的卷積層的目標裁剪方案。基于以上的方式，本公開能夠協同地考慮保留的一組通道對于分類神經網絡的影響，進而更為有效地壓縮神經網絡。

技術領域

本公開的各實現方式涉及人工智能領域，更具體地，涉及壓縮分類神經網絡的方法、裝置、電子設備、計算機存儲介質和計算機程序產品。

背景技術

近年來，隨著人工智能技術的發展，神經網絡開始被廣泛應用于圖像處理、語音識別等諸多技術領域之中，并發揮了重要的作用。

為了執行更加復雜的任務，神經網絡所包含的層越來越多，其網絡參數的規模和計算規模也愈加龐大。這使得神經網絡在訓練和使用時需要消耗大量的計算資源，這樣的復雜神經網絡難以被部署到計算資源和內存均受限的設備(例如移動設備和嵌入式系統)中。

因此，如何在保證神經網絡準確性的情況下壓縮神經網絡模型的體積，減少神經網絡模型的計算量，已經成為當前的關注熱點。

發明內容

本公開的實施例提供了一種壓縮分類神經網絡的方案。

在本公開的第一方面，提供了一種壓縮分類神經網絡的方法。該方法包括：獲取針對分類神經網絡的卷積層的候選裁剪方案，候選裁剪方案指示卷積層的多個通道中的一組通道將被保留；利用分類神經網絡處理一組樣本，以確定與一組通道相關聯的特征圖；基于特征圖，確定第一度量和第二度量，第一度量指示一組樣本中具有相同類別的樣本的特征表示之間的第一差異，第二度量指示具有不同類別的樣本的特征表示之間的第二差異；以及基于第一度量和第二度量，更新候選裁剪方案，以確定用于裁剪分類神經網絡的卷積層的目標裁剪方案。

在本公開的第二方面中，提供了一種壓縮分類神經網絡的裝置。該裝置包括：獲取模塊，被配置為獲取針對分類神經網絡的卷積層的候選裁剪方案，候選裁剪方案指示卷積層的多個通道中的一組通道將被保留；處理模塊，被配置為利用分類神經網絡處理一組樣本，以確定與一組通道相關聯的特征圖；分析模塊，被配置為基于特征圖，確定第一度量和第二度量，第一度量指示一組樣本中具有相同類別的樣本的特征表示之間的第一差異，第二度量指示具有不同類別的樣本的特征表示之間的第二差異；以及更新模塊，被配置為基于第一度量和第二度量，更新候選裁剪方案，以確定用于裁剪分類神經網絡的卷積層的目標裁剪方案。

在本公開的第三方面，提供了一種電子設備，包括：存儲器和處理器；其中存儲器用于存儲一條或多條計算機指令，其中一條或多條計算機指令被處理器執行以實現根據本公開的第一方面的方法。

在本公開的第四方面，提供了一種計算機可讀存儲介質，其上存儲有一條或多條計算機指令，其中一條或多條計算機指令被處理器執行實現根據本公開的第一方面的方法。

在本公開的第五方面，提供了一種計算機程序產品，其包括計算機可執行指令，其中計算機可執行指令在被處理器執行時實現根據本公開的第一方面的方法。

根據本公開的各種實施例，本公開能夠協同地考慮保留的一組通道對于分類神經網絡的影響，進而更為有效地壓縮分類神經網絡。此外，通過壓縮分類神經網絡，本公開的實施例可以降低神經網絡對于所部署的計算設備的要求，從而提高神經網絡的擴展性。

附圖說明

結合附圖并參考以下詳細說明，本公開各實施例的上述和其他特征、優點及方面將變得更加明顯。在附圖中，相同或相似的附圖標注表示相同或相似的元素，其中：

圖1示出了本公開的多個實施例能夠在其中實現的示例環境的示意圖；