[發明專利]基于矢量量化的迭代式神經網絡量化方法及系統有效
| 申請號： | 201810042040.0 | 申請日： | 2018-01-16 |
| 公開（公告）號： | CN108268950B | 公開（公告）日： | 2020-11-10 |
| 發明（設計）人： | 熊紅凱;徐宇輝 | 申請（專利權）人： | 上海交通大學 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08;G06K9/62 |
| 代理公司： | 上海恒慧知識產權代理事務所(特殊普通合伙) 31317 | 代理人： | 徐紅銀;劉翠 |
| 地址： | 200240 *** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 矢量 量化 迭代式 神經網絡 方法 系統 | ||
1.一種通用的神經網絡壓縮工具，用于圖像分類、目標檢測或語義分割；其特征在于，包括如下模塊：
聚類模塊，將網絡參數進行聚類，并存儲每一類的中心；
基于誤差的劃分模塊，檢測每一類量化造成的網絡損失即量化損失，并依據量化損失將聚類模塊聚得的所有類劃分為量化部分和重訓練部分；
參數共享模塊，將量化部分的網絡參數量化為所屬類的中心；
重訓練模塊，固定量化后的網絡參數，更新重訓練部分的網絡參數來彌補量化誤差，恢復量化后網絡的精度；
所述聚類模塊、基于誤差的劃分模塊、參數共享模塊和重訓練模塊迭代式進行，直到所有網絡參數都被量化為止；所述量化部分的量化損失大于重訓練部分的量化損失；
所述聚類模塊，采用k-means聚類方法，其中k-means聚類方法包括如下步驟：
對神經網絡每一層進行k-means聚類：
其中，k為聚類參數，k＝2b+1，依據網絡需要量化到的比特數b而定；是聚類的第i個類；ω表示網絡參數；ci是聚類結果中第i個類的中心，數值上等于該類所有網絡參數的均值，即
聚類之后得到每一類所包含的網絡參數量化到類的中心；
所述神經網絡壓縮工具在不損失網絡精度的情況下，將網絡的32位浮點數量化為4bit。
2.根據權利要求1所述的通用的神經網絡壓縮工具，其特征在于，所述步驟S2，依據量化對網絡性能的影響即網絡損失對聚類的結果進行排序，并將所有類劃分為兩部分，即量化部分和重訓練部分其中量化部分對網絡性能的影響大于重訓練部分對網絡性能的影響。
3.根據權利要求2所述的通用的神經網絡壓縮工具，其特征在于，其中，W表示類的數量。
4.根據權利要求1所 述的通用的神經網絡壓縮工具，其特征在于，所述重訓練模塊，其中重訓練是對之前劃分的重訓練部分的網絡參數進行操作，量化部分的網絡參數保持不變。
5.根據權利要求4所 述的通用的神經網絡壓縮工具，其特征在于，所述重訓練模塊的重訓練過程中，利用musk函數來控制梯度的傳播：
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于上海交通大學，未經上海交通大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810042040.0/1.html，轉載請聲明來源鉆瓜專利網。
