[發明專利]一種神經網絡壓縮方法與裝置

在審

• 申請號: 201910460244.0
• 申請日: 2019-05-30
• 公開（公告）號: CN110188877A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 景璐
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤

1.一種神經網絡壓縮方法，其特征在于，包括以下步驟：

對用于處理特征值的神經網絡執行模型裁剪，以得到稀疏網絡；

以將所述稀疏網絡中的網絡參數的精度壓縮到不超過所述特征值的精度的方式，對所述稀疏網絡執行權重量化，以得到可用網絡；

使用所述可用網絡以整數移位計算方式處理所述特征值。

2.根據權利要求1所述的方法，其特征在于，對用于處理所述特征值的所述神經網絡執行模型裁剪，以得到所述稀疏網絡包括：

訓練所述神經網絡，獲得所述神經網絡的層間各神經元的連接權重作為所述網絡參數；

裁剪掉所述連接權重值低于指定閾值的所述連接，使得所述神經網絡具有稀疏結構；

重新訓練所述稀疏結構，獲得所述稀疏網絡。

3.根據權利要求1所述的方法，其特征在于，對所述稀疏網絡執行權重量化，以得到可用網絡包括：

將所述稀疏網絡中作為所述網絡參數的連接權重聚類為量化權重組和重訓練權重組；

將所述量化權重組中的所述連接權重根據所述網絡參數的精度而量化為2的整數次冪或0；

通過僅修改所述重訓練權重組中的所述網絡參數且不修改所述量化權重組中的所述網絡參數，重新訓練量化后的所述稀疏網絡，以獲得所述可用網絡。

4.根據權利要求3所述的方法，其特征在于，將所述量化權重組中的所述連接權重根據所述網絡參數的精度而量化為2的整數次冪或0包括：

確定一個不超過所述特征值的精度的所述網絡參數的精度；

基于所述網絡參數的精度生成量化集合，所述量化集合中包括0、所述(網絡參數的精度位數的平方-2)/2個連續的2的正整數次冪、和與所述連續的2的正整數次冪分別相對應的連續的2的負整數次冪；

將所述量化權重組中的每個所述連接權重分別量化為所述量化集合中與所述連接權重最接近的數值。

5.根據權利要求4所述的方法，其特征在于，所述量化集合中還包括不與所述量化權重組中的任何所述連接權重的量化產生對應關系的拓展位。

6.根據權利要求3所述的方法，其特征在于，將所述稀疏網絡中作為所述網絡參數的所述連接權重聚類為所述量化權重組和所述重訓練權重組，包括：

將所述連接權重按照其數值大小聚類為所述量化權重組和所述重訓練權重組，其中所述量化權重組的所述連接權重數值較大，所述重訓練權重組的所述連接權重數值較小。

7.根據權利要求1所述的方法，其特征在于，使用所述可用網絡以整數移位計算方式處理所述特征值包括：根據所述特征值計算卷積。

8.根據權利要求7所述的方法，其特征在于，根據所述特征值計算卷積包括：由所述特征值、膨脹因子根據二進制整數移位計算方式確定所述卷積。

9.根據權利要求1-8中任意一項所述的方法，其特征在于，所述特征值的精度為8位；所述網絡參數的精度被壓縮到4位。

10.一種神經網絡壓縮裝置，其特征在于，包括：

處理器；和

存儲器，存儲有處理器可運行的程序代碼，所述程序代碼在被運行時執行如權利要求1-9中任意一項所述的方法。