[發明專利]基于非對稱三元權重量化的深度神經網絡模型壓縮方法在審
| 申請號： | 201810674698.3 | 申請日： | 2018-06-27 |
| 公開（公告）號： | CN108985453A | 公開（公告）日： | 2018-12-11 |
| 發明（設計）人： | 吳俊敏;丁杰;吳煥 | 申請（專利權）人： | 中國科學技術大學蘇州研究院 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08;H03M7/30 |
| 代理公司： | 蘇州創元專利商標事務所有限公司 32103 | 代理人： | 范晴;丁浩秋 |
| 地址： | 215123 江蘇省蘇州*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 非對稱 神經網絡模型 權重量化 神經網絡 壓縮 浮點 神經網絡訓練 參數更新 前向計算 冗余參數 網絡模型 壓縮存儲 大數據 網絡權 有效地 準確率 去除 量化 網絡 | ||
1.一種基于非對稱三元權重量化的深度神經網絡模型壓縮方法，其特征在于，包括以下步驟：
S01：在深度神經網絡訓練時，在每一次前向計算之前，將網絡的每一層浮點權重量化為非對稱的三元值，參數更新階段使用原始的浮點型網絡權重；
S02：對訓練完成的深度神經網絡進行壓縮存儲。
2.根據權利要求1所述的基于非對稱三元權重量化的深度神經網絡模型壓縮方法，其特征在于，所述三元值為：
其中l代表對應的網絡層，是量化過程中采用的閾值，為對應的縮放因子。
3.根據權利要求2所述的基于非對稱三元權重量化的深度神經網絡模型壓縮方法，其特征在于，通過L2范式最小來降低量化過程所帶來的損失，公式如下：
對于任意給定的閾值縮放因子為：
其中并且表示中元素的個數；
閾值因子為：
4.根據權利要求3所述的基于非對稱三元權重量化的深度神經網絡模型壓縮方法，其特征在于，采用近似計算的方法獲取閾值因子的近似值：
其中Ip＝{i|Wli≥0|i＝1,2…n}，In＝{i|Wli<0|i＝1,2,…n}。
5.根據權利要求1所述的基于非對稱三元權重量化的深度神經網絡模型壓縮方法，其特征在于，采用2-bit編碼的方式進行壓縮存儲，在壓縮過程中，通過移位操作將16個三元值存儲為一個32-bit定點整數。
6.一種基于非對稱三元權重量化的深度神經網絡模型壓縮裝置，其特征在于，包括：
一非對稱三元權重網絡訓練模塊，在深度神經網絡訓練時，在每一次前向計算之前，將網絡的每一層浮點權重量化為非對稱的三元值，參數更新階段使用原始的浮點型網絡權重；
一非對稱三元權重存儲模塊，對訓練完成的深度神經網絡進行壓縮存儲。
7.根據權利要求6所述的基于非對稱三元權重量化的深度神經網絡模型壓縮裝置，其特征在于，所述三元值為：
其中l代表對應的網絡層，是量化過程中采用的閾值，為對應的縮放因子。
8.根據權利要求7所述的基于非對稱三元權重量化的深度神經網絡模型壓縮裝置，其特征在于，通過L2范式最小來降低量化過程所帶來的損失，公式如下：
對于任意給定的閾值縮放因子為：
其中并且表示中元素的個數；
閾值因子為：
9.根據權利要求8所述的基于非對稱三元權重量化的深度神經網絡模型壓縮裝置，其特征在于，采用近似計算的方法獲取閾值因子的近似值：
其中Ip＝{i|Wli≥0|i＝1,2…n}，In＝{i|Wli<0|i＝1,2,…n}。
10.根據權利要求6所述的基于非對稱三元權重量化的深度神經網絡模型壓縮裝置，其特征在于，采用2-bit編碼的方式進行壓縮存儲，在壓縮過程中，通過移位操作將16個三元值存儲為一個32-bit定點整數。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學技術大學蘇州研究院，未經中國科學技術大學蘇州研究院許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810674698.3/1.html，轉載請聲明來源鉆瓜專利網。
