[發明專利]基于矢量量化的迭代式神經網絡量化方法及系統

有效

• 申請號: 201810042040.0
• 申請日: 2018-01-16
• 公開（公告）號: CN108268950B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 熊紅凱;徐宇輝
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀;劉翠

本發明提供了一種基于矢量量化的迭代式神經網絡量化系統，包括：聚類模塊、基于誤差的劃分模塊、參數共享模塊和重訓練模塊，其中：聚類模塊充分利用參數本身的分布來控制量化誤差；基于誤差的劃分模塊將網絡參數劃分為量化和重訓練兩部分；參數共享模塊將劃分的量化部分進行量化；重訓練模塊固定量化后的參數，更新重訓練部分的參數來彌補量化誤差，恢復量化后網絡的精度。四部分迭代式進行，直到網絡所有參數都被量化為止。同時提供了一種基于矢量量化的迭代式神經網絡量化方法。本發明在不損失網絡精度的情況下，能夠將神經網絡的32位浮點數量化為4bit，具有很高的實用價值。

技術領域

本發明涉及一種神經網絡量化方案，具體是一種基于矢量量化的迭代式神經網絡量化方法及系統。

背景技術

深度卷積神經網絡在圖像分類、目標檢測、語義分割等計算機視覺領域取得了很大的成功。深度卷積網絡優秀的性能是由很多因素造成的。除了越來越多的數據資源和愈發強大的計算硬件，大量可學習的參數是最重要的一個因素。為了取得很高的準確率，神經網絡的設計朝著更寬和更深的方向發展，給計算和存儲資源帶來了很大的負擔。在移動設備上部署深度網絡變得更加困難。例如，VGG-16模型有138.34百萬個參數，占用了大約500MB的存儲空間。分類一張圖片需要進行30.94百萬次浮點數運算。這樣巨大的存儲和運算消耗很容易超過移動設備的資源供給量。所以網絡壓縮吸引了學術界和工業界極大的興趣。

經過對現有技術的文獻檢索發現，Song Han在2016年的《InternationalConference on LeamingRepresentation》(ICLR)會議上發表的“DeepCompression：Compressing Deep NeuralNetworks with Pruning，TranedQuantizationand Huffman Coding”一文中提出了一種將裁、減量化和霍夫曼編碼相結合的深度壓縮方法。文章中將裁剪后的網絡進行矢量量化，為了恢復量化后的網絡性能，作者利用同一類參數梯度的和來更新參數，最后依據霍夫曼編碼對網絡進行編碼。然而利用同一類參數梯度和來更新參數并不是最優的做法。文章中對卷積層的量化采用的比特數較大，壓縮效率不高。

發明內容

本發明針對現有技術中存在的上述不足，提供了一種基于矢量量化的迭代式神經網絡量化方法及系統，可作為一種通用的神經網絡壓縮工具，其目的是保證網絡性能的情況下壓縮網絡。

本發明是通過以下技術方案實現的：

根據本發明的一個方面，提供了一種基于矢量量化的迭代式神經網絡量化方法，包括如下步驟：

步驟S1，聚類：將網絡參數進行聚類，并存儲每一類的中心；

步驟S2，基于誤差的劃分：檢測每一類量化造成的網絡損失即量化損失，并依據量化損失將步驟S1得到的所有類劃分為量化部分和重訓練部分；

步驟S3，參數共享：將量化部分的網絡參數量化為所屬類的中心；

步驟S4，重訓練：固定量化后的網絡參數，更新重訓練部分的網絡參數來彌補量化誤差，恢復量化后網絡的精度。

優選地，所述步驟S1，采用k-means聚類方法。

優選地，所述k-means聚類方法包括如下步驟：

對神經網絡每一層進行k-means聚類：

其中，k為聚類參數，k＝2^b+1，依據網絡需要量化到的比特數b而定；是聚類的第i個類；ω表示網絡參數；c_i是聚類結果中第i個類的中心，數值上等于該類所有網絡參數的均值，即

聚類之后得到每一類所包含的網絡參數量化到類的中心。