[發(fā)明專利]壓縮神經(jīng)網(wǎng)絡(luò)模型的方法、計算機系統(tǒng)以及存儲介質(zhì)在審
| 申請?zhí)枺?/td> | 202011448780.8 | 申請日： | 2020-12-09 |
| 公開（公告）號： | CN113052309A | 公開（公告）日： | 2021-06-29 |
| 發(fā)明（設(shè)計）人： | 蔣薇;王煒;劉杉 | 申請（專利權(quán)）人： | 騰訊美國有限責(zé)任公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08 |
| 代理公司： | 北京德琦知識產(chǎn)權(quán)代理有限公司 11018 | 代理人： | 徐文靜;陳世華 |
| 地址： | 美國加利福尼亞州*** | 國省代碼： | 暫無信息 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 壓縮 神經(jīng)網(wǎng)絡(luò) 模型 方法 計算機系統(tǒng) 以及 存儲 介質(zhì) | ||
1.一種壓縮神經(jīng)網(wǎng)絡(luò)模型的方法，其特征在于，包括：
對與權(quán)重系數(shù)集對應(yīng)的多維張量進行重塑，所述權(quán)重系數(shù)集與神經(jīng)網(wǎng)絡(luò)相關(guān)聯(lián)；
從所述權(quán)重系數(shù)集中識別權(quán)重系數(shù)子集；以及
根據(jù)識別的權(quán)重系數(shù)子集，壓縮所述神經(jīng)網(wǎng)絡(luò)的模型。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述權(quán)重系數(shù)集中識別所述權(quán)重系數(shù)子集包括：
對所述權(quán)重系數(shù)集進行量化；以及
選擇使得可量化性正則化損失值最小化的權(quán)重系數(shù)子集，所述可量化性正則化損失值與數(shù)據(jù)損失值和量化損失值相對應(yīng)，所述數(shù)據(jù)損失值和所述量化損失值與量化的權(quán)重系數(shù)集相關(guān)聯(lián)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，進一步包括反向傳播所述最小化的可量化性正則化損失值，根據(jù)反向傳播的所述最小化的可量化性正則化損失值來訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，反向傳播所述最小化的可量化性正則化損失值，根據(jù)反向傳播的所述最小化的可量化性正則化損失值，將所述權(quán)重系數(shù)子集中的至少一個權(quán)重系數(shù)固定。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，進一步包括確定與所述權(quán)重系數(shù)子集相關(guān)聯(lián)的梯度和量化掩碼，根據(jù)確定的所述梯度和所述量化掩碼，更新所述權(quán)重系數(shù)子集中的至少一個非固定權(quán)重系數(shù)。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，進一步包括通過對所述權(quán)重系數(shù)子集進行量化和熵編解碼來壓縮所述權(quán)重系數(shù)子集。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述神經(jīng)網(wǎng)絡(luò)的每個層分開進行壓縮。
8.一種壓縮神經(jīng)網(wǎng)絡(luò)模型的計算機系統(tǒng)，其特征在于，所述計算機系統(tǒng)包括：
重塑模塊，用于對與權(quán)重系數(shù)集對應(yīng)的多維張量進行重塑，所述權(quán)重系數(shù)集與神經(jīng)網(wǎng)絡(luò)相關(guān)聯(lián)；
識別模塊，用于從所述權(quán)重系數(shù)集中識別權(quán)重系數(shù)子集；以及
壓縮模塊，用于根據(jù)識別的權(quán)重系數(shù)子集，壓縮所述神經(jīng)網(wǎng)絡(luò)的模型。
9.根據(jù)權(quán)利要求8所述的計算機系統(tǒng)，其特征在于，識別所述權(quán)重系數(shù)子集包括：
量化模塊，用于對所述權(quán)重系數(shù)集進行量化；以及
選擇代碼，用于選擇使得可量化性正則化損失值最小化的權(quán)重系數(shù)子集，所述可量化性正則化損失值與數(shù)據(jù)損失值和量化損失值相對應(yīng)，所述數(shù)據(jù)損失值和所述量化損失值與量化的權(quán)重系數(shù)集相關(guān)聯(lián)。
10.根據(jù)權(quán)利要求9所述的計算機系統(tǒng)，其特征在于，進一步包括訓(xùn)練模塊，所述訓(xùn)練模塊用于反向傳播所述最小化的可量化性正則化損失值，根據(jù)反向傳播的所述最小化的可量化性正則化損失值來訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)。
11.根據(jù)權(quán)利要求9所述的計算機系統(tǒng)，其特征在于，反向傳播所述最小化的可量化性正則化損失值，根據(jù)反向傳播的所述最小化的可量化性正則化損失值，將所述權(quán)重系數(shù)子集中的至少一個權(quán)重系數(shù)固定。
12.根據(jù)權(quán)利要求11所述的計算機系統(tǒng)，其特征在于，進一步包括更新模塊，所述更新模塊用于確定與所述權(quán)重系數(shù)子集相關(guān)聯(lián)的梯度和量化掩碼，根據(jù)確定的所述梯度和所述量化掩碼，更新所述權(quán)重系數(shù)子集中的至少一個非固定權(quán)重系數(shù)。
13.根據(jù)權(quán)利要求8所述的計算機系統(tǒng)，其特征在于，進一步包括壓縮模塊，所述壓縮模塊用于通過對所述權(quán)重系數(shù)子集進行量化和熵編解碼來壓縮所述權(quán)重系數(shù)子集。
14.一種易失性計算機可讀介質(zhì)，其特征在于，其上存儲有壓縮神經(jīng)網(wǎng)絡(luò)模型的計算機程序，所述計算機程序用于使得至少一個計算機處理器執(zhí)行如權(quán)利要求1-7中任一項所述的方法。
15.一種服務(wù)器計算機，其特征在于，包括處理器和存儲器；所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時，使得所述處理器執(zhí)行如權(quán)利要求1至7中任一項所述的方法。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于騰訊美國有限責(zé)任公司，未經(jīng)騰訊美國有限責(zé)任公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011448780.8/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 上一篇：用于矢量圖形的極坐標描邊
- 下一篇：駕駛意識推定裝置
- 硬件神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法、計算裝置、軟硬件協(xié)作系統(tǒng)
- 生成較大神經(jīng)網(wǎng)絡(luò)
- 神經(jīng)網(wǎng)絡(luò)的生成方法、生成裝置和電子設(shè)備
- 一種舌診方法、裝置、計算設(shè)備及計算機存儲介質(zhì)
- 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
- 脈沖神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法及相關(guān)轉(zhuǎn)換芯片
- 圖像處理方法、裝置、可讀存儲介質(zhì)和計算機設(shè)備
- 一種適應(yīng)目標數(shù)據(jù)集的網(wǎng)絡(luò)模型微調(diào)方法、系統(tǒng)、終端和存儲介質(zhì)
- 用于重構(gòu)人工神經(jīng)網(wǎng)絡(luò)的處理器及其操作方法、電氣設(shè)備
- 一種圖像神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法及裝置
