[發明專利]一種神經網絡壓縮方法與裝置

在審

• 申請號: 201910460244.0
• 申請日: 2019-05-30
• 公開（公告）號: CN110188877A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 景璐
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤

本發明公開了一種神經網絡壓縮方法與裝置，包括：對用于處理特征值的神經網絡執行模型裁剪，以得到稀疏網絡；以將稀疏網絡中的網絡參數的精度壓縮到不超過特征值的精度的方式，對稀疏網絡執行權重量化，以得到可用網絡；使用可用網絡以整數移位計算方式處理特征值。本發明的技術方案能夠針對不同神經網絡或不同類型的神經網絡在基本不影響計算精度的前提下執行壓縮，降低神經網絡的時間和空間計算復雜度，縮短工作用時和減少占用的存儲空間，便于移植到移動設備和嵌入式設備。

技術領域

本發明涉及深度學習領域，并且更具體地，特別是涉及一種神經網絡壓縮方法與裝置。

背景技術

近年來隨著深度學習技術的快速發展，實際應用中需要處理和識別大量數據集，所以對深度學習模型的的精度要求越來越高。CNN(卷積神經網絡)在計算機視覺領域(在圖像分類、目標檢測、語義分割等方向)發揮著重要的作用。為了達到更好的識別效果和處理更加復雜的任務，神經網絡模型層數越來越深，例如對于ImageNet競賽的冠軍模型AlexNet、GoogLeNet、ResNets等，模型層數由8層提高到了100多層，對于110層的ReNet，有高達1.7Milloin的模型參數及近200MB的存儲空間需求，大規模的參數導致的結果是模型對于硬件設備的浮點(或整數)乘法資源(乘法計算占整個神經網絡計算90％以上的計算量)、存儲資源的要求越來越高，這使得它難以被部署到資源有限的移動端和嵌入式系統上，極大限制了深度學習產品在移動端、嵌入式設備上的發展。

針對現有技術中神經網絡的時間和空間計算復雜度高的問題，目前尚未有有效的解決方案。

發明內容

有鑒于此，本發明實施例的目的在于提出一種神經網絡壓縮方法與裝置，能夠針對不同神經網絡或不同類型的神經網絡在基本不影響計算精度的前提下執行壓縮，降低神經網絡的時間和空間計算復雜度，縮短工作用時和減少占用的存儲空間，便于移植到移動設備和嵌入式設備。

基于上述目的，本發明實施例的一方面提供了一種神經網絡壓縮方法，包括以下步驟：

對用于處理特征值的神經網絡執行模型裁剪，以得到稀疏網絡；

以將稀疏網絡中的網絡參數的精度壓縮到不超過特征值的精度的方式，對稀疏網絡執行權重量化，以得到可用網絡；

使用可用網絡以整數移位計算方式處理特征值。

在一些實施方式中，對用于處理特征值的神經網絡執行模型裁剪，以得到稀疏網絡包括：

訓練神經網絡，獲得神經網絡的層間各神經元的連接權重作為網絡參數；

裁剪掉連接權重值低于指定閾值的連接，使得神經網絡具有稀疏結構；

重新訓練稀疏結構，獲得稀疏網絡。

在一些實施方式中，對稀疏網絡執行權重量化，以得到可用網絡包括：

將稀疏網絡中作為網絡參數的連接權重聚類為量化權重組和重訓練權重組；

將量化權重組中的連接權重根據網絡參數的精度而量化為2的整數次冪或0；

通過僅修改重訓練權重組中的網絡參數且不修改量化權重組中的網絡參數，重新訓練量化后的稀疏網絡，以獲得可用網絡。

在一些實施方式中，將量化權重組中的連接權重根據網絡參數的精度而量化為2的整數次冪或0包括：

確定一個不超過特征值的精度的網絡參數的精度；

基于網絡參數的精度生成量化集合，量化集合中包括0、(網絡參數的精度位數的平方-2)/2個連續的2的正整數次冪、和與該連續的2的正整數次冪分別相對應的連續的2的負整數次冪；

將量化權重組中的每個連接權重分別量化為量化集合中與連接權重最接近的數值。