[發明專利]一種神經網絡壓縮方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202110472664.8
• 申請日: 2021-04-29
• 公開（公告）號: CN113159297A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 沈煜;馮志芳;胡英俊
• 申請（專利權）人: 上海陣量智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

1.一種神經網絡壓縮方法，其特征在于，包括：

從待壓縮神經網絡的多個中間層中，確定目標中間層；

基于所述待壓縮神經網絡和訓練數據，確定所述目標中間層的目標輸入數據；

基于所述目標中間層對所述目標輸入數據進行處理后，基于處理結果的壓縮處理結果，確定所述待壓縮神經網絡的第一輸出數據；

基于所述第一輸出數據對所述待壓縮神經網絡的網絡參數進行調整，并返回執行確定目標中間層的步驟，直至所述待壓縮神經網絡的所述多個中間層的處理結果都被壓縮處理。

2.根據權利要求1所述的方法，其特征在于，所述基于所述目標中間層對所述目標輸入數據進行處理后，基于處理結果的壓縮處理結果，確定所述待壓縮神經網絡的第一輸出數據，包括：

基于所述目標中間層對所述目標輸入數據進行處理后，對處理結果進行壓縮處理，得到第一中間處理數據；

基于所述第一中間處理數據，確定所述待壓縮神經網絡的第一輸出數據。

3.根據權利要求1所述的方法，其特征在于，所述從待壓縮神經網絡的多個中間層中，確定目標中間層，包括：

確定所述待壓縮神經網絡的多個中間層中未進行壓縮處理的候選中間層；以及，基于預設的訓練完成次數和所述待壓縮神經網絡的中間層的第一個數，確定所述目標中間層所包括的中間層的第二個數；

按照所述第二個數從所述候選中間層中確定待處理的目標中間層。

4.根據權利要求3所述的方法，其特征在于，所述按照所述第二個數從所述候選中間層中確定待處理的目標中間層，包括：

按照所述待壓縮神經網絡的多個中間層對應的壓縮順序和所述第二個數，從所述候選中間層中確定所述待處理的目標中間層。

5.根據權利要求2所述的方法，其特征在于，所述基于所述第一中間處理數據，確定所述待壓縮神經網絡的第一輸出數據，包括：

將所述第一中間處理數據輸入至所述目標中間層之后的其他處理層，確定所述待壓縮神經網絡的輸出數據，所述其他處理層包括所述目標中間層之后的其他中間層以及輸出層。

6.根據權利要求2所述的方法，其特征在于，所述目標中間層包括多個中間層；

所述基于所述目標中間層對所述目標輸入數據進行處理后，對處理結果進行壓縮處理，得到第一中間處理數據，包括：

基于所述目標中間層的第N個中間層對輸入數據進行處理后，對處理結果進行壓縮處理，得到第N個中間層對應的第二中間處理數據；

將所述第N個中間層對應的第二中間處理數據作為第N+1層中間層的輸入數據，并基于第N+1個中間層對輸入數據進行處理后，對處理結果進行壓縮處理，得到第N+1個中間層對應的第二中間處理數據；

其中，所述目標中間層的最后一個中間層對應的第二中間處理數據為所述第一中間處理數據；所述目標中間層的第一個中間層的輸入數據為所述目標輸入數據，N為不大于M-1的正整數，M為所述目標中間層包括的中間層的個數。

7.根據權利要求5或6所述的方法，其特征在于，所述處理結果包括特征圖，所述壓縮處理包括稀疏化處理；

所述對處理結果進行壓縮處理，包括：

將所述特征圖的特征點在各個通道上的取值的絕對值按照從小到大的順序進行排序；以及確定所述特征圖的特征點的個數和通道個數；

基于所述特征點的個數、通道個數以及預先設置的稀疏化比例，確定稀疏化個數；

按照所述稀疏化個數以及排序結果，確定需要進行壓縮處理的目標通道取值，并將確定的所述目標通道取值調整為零。

8.根據權利要求1所述的方法，其特征在于，所述基于所述第一輸出數據對所述待壓縮神經網絡的網絡參數進行調整，包括：

確定當前次待壓縮神經網絡輸出的第一輸出數據；

基于當前次待壓縮神經網絡輸出的第一輸出數據，對上一次訓練完成的待壓縮神經網絡進行訓練。