[發明專利]一種基于通道分組低比特神經網絡參數壓縮量化方法在審
| 申請號： | 201910333000.6 | 申請日： | 2019-04-24 |
| 公開（公告）號： | CN110059822A | 公開（公告）日： | 2019-07-26 |
| 發明（設計）人： | 郭韶燕;景璐 | 申請（專利權）人： | 蘇州浪潮智能科技有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08;G06N3/04;G06K9/62 |
| 代理公司： | 北京連和連知識產權代理有限公司 11278 | 代理人： | 張濤 |
| 地址： | 215100 江蘇省蘇州市吳*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 權重 轉化 量化 神經網絡參數 偏移量 最小值計算 分組 比特量化 比特位數 模型存儲 內存消耗 嵌入式端 權重訓練 壓縮 組通道 推理 算法 所有權 重復 網絡 | ||
1.一種基于通道分組低比特神經網絡參數壓縮量化方法，其特征在于，包括以下步驟：
1)將權重按通道分成q個組；
2)基于所述q組通道定義bit數和訓練轉化比例；
3)基于定義的所述bit數和訓練轉化比例，計算每組權重的量化范圍并將所述每組權重轉化為2n形式，并使用未轉化的所述權重訓練網絡；
4)針對未轉化的所述權重重復步驟3)，直到所有權重完成所述計算和所述轉化；
5)計算轉化后的權重的最小值；
6)根據所述轉化后的權重的最小值計算偏移量，基于所述偏移量將模型存儲成特定形式。
2.根據權利要求1所述的方法，其特征在于，所述訓練轉化比例包括0.3、0.7、0.8、1。
3.根據權利要求1所述的方法，其特征在于，所述量化范圍的計算包括以下步驟：
將所述權重從大到小排序，取前預定比例的權重；
根據計算公式求得所述比例的權重的指數的最大值和最小值；
基于所述指數的最大值和最小值將所述比例的權重轉化為最接近的2n形式。
4.根據權利要求3所述的方法，其特征在于，所述預定比例為每一次的訓練轉化比例。
5.根據權利要求4所述的方法，其特征在于，所述計算公式為min＝max–nbit+1，其中Wq是第q組所有權重，nbit是定義的bit數，max和min是指數的最大值和最小值。
6.根據權利要求3所述的方法，其特征在于，所述訓練網絡用于補償所述量化范圍計算的損失。
7.根據權利要求1所述的方法，其特征在于，所述網絡包括CNN網絡。
8.根據權利要求1所述的方法，其特征在于，將權重按通道分成q個組包括：使用KNN方法將所述權重按通道分成所述q個組。
9.根據權利要求1所述的方法，其特征在于，根據所述轉化后的權重的最小值計算偏移量包括：使用公式shiftn＝log2min-nbit計算所述偏移量，其中所述log2min是步驟5)中轉化后的權重的最小值的對數，nbit是定義的bit數。
10.根據權利要求9所述的方法，其特征在于，所述特定形式包括shiftn和所有按順序轉化后權重的指數。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于蘇州浪潮智能科技有限公司，未經蘇州浪潮智能科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910333000.6/1.html，轉載請聲明來源鉆瓜專利網。
