[發明專利]神經網絡的量化方法及裝置

在審

• 申請號: 202110015968.1
• 申請日: 2021-01-07
• 公開（公告）號: CN112613604A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 王堃;韓亞敏
• 申請（專利權）人: 江蘇禹盛科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 曹婷

本發明公開了一種神經網絡的量化方法及裝置，涉及神經網絡模型壓縮技術領域，解決了神經網絡不能根據實際需要自動量化的技術問題，其技術方案要點是通過限定位寬，逐層對網絡模型的卷積層的權重進行量化，以獲得在相對較小的位寬下能夠得到較高的準確率，并且不需要通過訓練集對網絡模型重新訓練，直接在驗證集上做驗證就可以確定每一層卷積層在不同的位寬下的權重和準確率。并能夠根據每個網絡模型的特點，自動用更合理的低精度來進行運算，降低了計算位寬，進一步提升了計算效率。

技術領域

本公開涉及神經網絡模型壓縮技術領域，尤其涉及一種神經網絡的量化方法及裝置。

背景技術

近年來，隨著人工智能技術的不斷發展，卷積神經網絡(Convolutional NeuralNetworks，CNNs)在人工智能中的應用也是俞漸廣泛，尤其是在語音識別、圖像分類、目標檢測等領域取得了較好的成果。為了追求更好的性能，新提出的卷積神經網絡往往具有很深的層數，甚至超過了1000層，權重體積和計算復雜度也隨之大大增加，甚至對于GPU(Graphics Processing Unit,圖形處理器)而言也是一種挑戰。此外，許多現實的應用場景往往只能采用嵌入式或移動設備，存儲和計算資源非常有限，不能滿足多數卷積神經網絡的部署要求。

在傳統的神經網絡中，都是利用數據集對網絡模型進行訓練，訓練過程即對參數不斷更新調整的過程，讓參數可以利用網絡模型的情況對預測的數據進行處理。早期的設計工程中，對網絡模型的訓練都是為了提升模型精度，并沒有考慮模型大小，因此，傳統的訓練方法訓練出來的模型精度都是32位浮點數，這會導致模型比較大，使得大型規模和計算成本成為在低功耗、資源有限的移動系統中部署算法的主要阻礙。因此，在對神經網絡模型進行壓縮的同時保證模型精度成為深度學習的一個重要研究方向，對神經網絡模型進行壓縮的方法有很多，例如，網絡剪枝，知識蒸餾，權重稀疏，權重量化等。

研究發現卷積神經網絡的權重以及特征圖不一定需要被表示為浮點數，即使是使用很低的精度來表示，卷積神經網絡的性能也不一定會有明顯下降。這說明浮點數模型在精度表示方面存在著很大的冗余，如果能把它去除，那么神經網絡模型的體積會進一步得到壓縮，并且低精度變量的運算也往往比浮點運算耗費更少的時間。

現有技術中都采用統一的量化精度，例如谷歌提出的量化算法，從32bit浮點數轉成低精度8/16bit定點數，事實上可以用一些更低的精度去量化卷積神經網絡模型結構和算法，例如2、4、6bit等等，但是如何給出合理比特位是個問題。最簡單的量化規則為均勻量化，即量化步長一定、量化值成倍增長的方法。此外，還有許多方法會按照原始權重的分布來制定量化規則，例如先用clamp函數將原始值截斷后再量化、取對數再量化、保持分布的量化、滿足高斯分布的量化等等。為了消除各層權重分布范圍差異的影響，許多算法還會先將各層權重歸一化再量化，最后再乘上一個與原始分布范圍有關的尺度因子。通過不斷改進量化規則，單一精度量化技術可以將神經網絡的權重量化得越來越低，甚至已有不少工作嘗試將權重二值化(量化值取1和-1)和三值化(量化值取1、0和-1)。

但上述量化方法都是固定位寬量化，不能根據實際情況進行自動量化。

發明內容

本公開提供了一種神經網絡的量化方法及裝置，其技術目的是改變神經網絡的固定位寬量化，使得神經網絡根據實際需要進行自動量化。

本公開的上述技術目的是通過以下技術方案得以實現的：

一種神經網絡的量化方法，包括：

加載網絡模型，從所述網絡模型中按照卷積層逐層提取權重W_i，其中，i為自然數；

將驗證集投入到所述網絡模型的每一層卷積層分別提取特征值，獲取特征值的數據范圍；

對每一層卷積層的權重W_i進行量化，具體包括：