[發(fā)明專利]深度神經網(wǎng)絡模型的壓縮方法及裝置、終端、存儲介質在審
| 申請?zhí)枺?/td> | 201710266595.9 | 申請日： | 2017-04-21 |
| 公開（公告）號： | CN108734267A | 公開（公告）日： | 2018-11-02 |
| 發(fā)明（設計）人： | 趙曉輝;林福輝 | 申請（專利權）人： | 展訊通信（上海）有限公司 |
| 主分類號： | G06N3/04 | 分類號： | G06N3/04 |
| 代理公司： | 北京集佳知識產權代理有限公司 11227 | 代理人： | 郭學秀;吳敏 |
| 地址： | 201203 上海市浦東新區(qū)浦東*** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 神經網(wǎng)絡模型 壓縮方法及裝置 存儲介質 終端 貢獻度 壓縮 | ||
1.一種深度神經網(wǎng)絡模型的壓縮方法，其特征在于，包括：
獲取已訓練的深度神經網(wǎng)絡模型；
基于參數(shù)在所述深度神經網(wǎng)絡模型中的整體貢獻度，對已訓練的深度神經網(wǎng)絡模型的各層參數(shù)進行簡化，得到簡化后的深度神經網(wǎng)絡模型。
2.根據(jù)權利要求1所述的深度神經網(wǎng)絡模型的壓縮方法，其特征在于，所述基于參數(shù)在所述深度神經網(wǎng)絡模型中的整體貢獻度，對已訓練的深度神經網(wǎng)絡模型的各層參數(shù)進行簡化，包括：
按照從后至前的順序對已訓練的深度神經網(wǎng)絡模型的各層進行遍歷，獲取遍歷到的當前層的保留權重；
計算遍歷至的當前層的保留權重的全權連接數(shù)值；所述全權連接數(shù)值與當前層的參數(shù)在所述深度神經網(wǎng)絡中的貢獻度相關聯(lián)；
將當前層的保留權重的權連接數(shù)值與當前層對應的精簡閾值進行比較，并根據(jù)比較結果確定當前層的最終保留權重；
獲取下一層中與當前層的最終保留權重對應的權重，作為下一層的保留權重，直至所述深度神經網(wǎng)絡模型的所有層遍歷完成。
3.根據(jù)權利要求2所述的深度神經網(wǎng)絡模型的壓縮方法，其特征在于，當所述深度神經網(wǎng)絡模型為M層時，所述計算遍歷至的當前層的保留權重的全權連接數(shù)值，包括：
其中，OM,n表示第M層的第n個保留權重的全權連接數(shù)值，n表示第M層的第n個保留權重，Nm表示第M層保留權重的數(shù)量，oM,n表示第1至第(M-1)層中遍歷到的當前層中第n個保留權重的全權連接數(shù)值，n表示第1至第(M-1)層中遍歷到的當前層中的第n個保留權重,K第1至第(M-1)層中遍歷到的當前層中的保留權重的數(shù)量。
4.根據(jù)權利要求2所述的深度神經網(wǎng)絡模型的壓縮方法，其特征在于，所述根據(jù)比較結果確定當前層的保留參數(shù)，包括：
當確定計算得到的全權連接數(shù)值小于或等于當前層對應的精簡閾值時，將對應的保留權重刪除；
當確定計算得到的全權連接數(shù)值大于當前層對應的精簡閾值時，將當前層對應的保留權重保留。
5.根據(jù)權利要求4所述的深度神經網(wǎng)絡模型的壓縮方法，其特征在于，所述對應的精簡閾值通過以下方式獲取：
其中，m表示所述深度神經網(wǎng)絡模型的第m層，θm表示所述深度神經網(wǎng)絡模型第m層對應的精簡閾值，α表示預設的質量參數(shù)，Nm表示所述深度神經網(wǎng)絡模型的第m層中保留權重的數(shù)量，om,n表示深度神經網(wǎng)絡模型中第m層第n個保留權重的權連接數(shù)值，μm表示所述深度神經網(wǎng)絡模型的第m層的保留權重的全權連接數(shù)值的均值。
6.根據(jù)權利要求1所述的深度神經網(wǎng)絡模型的壓縮方法，其特征在于，還包括：對簡化后的深度神經網(wǎng)絡模型進行重新訓練。
7.一種深度神經網(wǎng)絡模型的壓縮裝置，其特征在于，包括：
獲取單元，適于獲取已訓練的深度神經網(wǎng)絡模型；
簡化單元，適于基于參數(shù)在所述深度神經網(wǎng)絡模型中的整體貢獻度，對已訓練的深度神經網(wǎng)絡模型的各層參數(shù)進行簡化，得到簡化后的深度神經網(wǎng)絡模型。
8.根據(jù)權利要求7所述的深度神經網(wǎng)絡模型的壓縮裝置，其特征在于，所述簡化單元，適于按照從后至前的順序對已訓練的深度神經網(wǎng)絡模型的各層進行遍歷，獲取遍歷到的當前層的保留權重；計算遍歷至的當前層的保留權重的全權連接數(shù)值；所述全權連接數(shù)值與當前層的參數(shù)在所述深度神經網(wǎng)絡中的貢獻度相關聯(lián)；將當前層的保留權重的權連接數(shù)值與當前層對應的精簡閾值進行比較，并根據(jù)比較結果確定當前層的最終保留權重；獲取下一層中與當前層的最終保留權重對應的權重，作為下一層的保留權重，直至所述深度神經網(wǎng)絡模型的所有層遍歷完成。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于展訊通信（上海）有限公司，未經展訊通信（上海）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710266595.9/1.html，轉載請聲明來源鉆瓜專利網(wǎng)。
