[發明專利]一種用于深度卷積神經網絡模型壓縮的方法在審
| 申請號： | 201710038007.6 | 申請日： | 2017-01-18 |
| 公開（公告）號： | CN108322221A | 公開（公告）日： | 2018-07-24 |
| 發明（設計）人： | 肖學鋒;金連文;楊亞鋒;常天海;劉汝杰;孫俊 | 申請（專利權）人： | 華南理工大學;富士通株式會社 |
| 主分類號： | H03M7/40 | 分類號： | H03M7/40;H03M7/30;G06N3/08;G06K9/62 |
| 代理公司： | 廣東廣信君達律師事務所 44329 | 代理人： | 楊曉松 |
| 地址： | 510640 廣東省廣*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 卷積神經網絡 去除 模型壓縮 網絡層 微調 哈夫曼編碼 比特位數 編碼過程 聚類結果 網絡連接 壓縮文件 壓縮率 保存 冗余 準確率 減小 聚類 索引 網絡 壓縮 改進 恢復 | ||
1.一種用于深度卷積神經網絡模型壓縮的方法，其特征在于，包括步驟
S1：對于已經訓練完成的深度卷積神經網絡模型進行再訓練，去除其中冗余的網絡連接；
S2：對卷積神經網絡的各網絡層的剩余連接的權值進行編碼；
S3：對卷積神經網絡的各網絡層的剩余連接的權值進行k-means聚類；
S4：對聚類結果進行微調；
S5：保存微調后的結果，并對保存的文件進行哈夫曼編碼。
2.如權利要求1所述的用于深度卷積神經網絡模型壓縮的方法，其特征在于，步驟S1包括步驟
S11：對訓練完成的深度卷積神經網絡模型進行繼續訓練；
S12：對任一網絡層進行訓練時，每次迭代都去除該層中一些權值小于某一動態閾值的連接；
S13：當任一網絡層中去除的連接數占該層原始連接數的比例達到預設的值時，固定此時的該網絡層的動態閾值，對深度卷積神經網絡進行繼續訓練；
S14：當訓練次數達到最大訓練次數時，停止訓練。
3.如權利要求1所述的用于深度卷積神經網絡模型壓縮的方法，其特征在于，步驟S2包括步驟
S21：將各網絡層連接的權值矩陣按行優先分別排列為一個行向量；
S22：對各個行向量進行改進的CSR編碼。
4.如權利要求3所述的用于深度卷積神經網絡模型壓縮的方法，其特征在于，步驟S21中所述改進的CSR編碼是指在存儲非零值的位置時，用相對前一個非零值的位移來代替相對行首的位移，并當相對位移超過2k時，在該位置補0，并視此位置為非零值的位置，其他與標準CSR編碼相同。
5.如權利要求1所述的用于深度卷積神經網絡模型壓縮的方法，其特征在于，步驟S3包括步驟
S31：獲取各網絡層的值向量；
S32：對各網絡層值向量進行k-means聚類。
6.如權利要求1所述的用于深度卷積神經網絡模型壓縮的方法，其特征在于，步驟S4包括步驟
S41：利用步驟S3所得聚類結果和步驟S2的編碼結果初始化各網絡層的參數；
S42：設置求解參數，啟動網絡訓練；
S43：在網絡訓練的過程中對聚類中心進行微調。
7.如權利要求6所述的用于深度卷積神經網絡模型壓縮的方法，其特征在于，步驟S43包括步驟
S431：根據當前網絡參數對網絡進行前向運算，得到網絡的輸出；
S432：根據網絡的輸出和此時網絡的標簽得到此時網絡的損失值；
S433：利用網絡損失值對網絡進行反向傳播，得到各層網絡連接的梯度值；
S434：將屬于同一個聚類中心的連接的梯度值加和，這樣每一個聚類中心都有一個與之相對應的梯度加和值；
S435：將各聚類中心的值減去與其相對應的梯度加和值與此時網絡學習率的乘積；
S436：將各網絡連接的權值更新為該連接所屬聚類中心的值；
S437：重復S431-S436直到網絡訓練收斂，停止訓練。
8.如權利要求1所述的用于深度卷積神經網絡模型壓縮的方法，其特征在于，步驟S5包括步驟：
S51：將各個網絡層的編碼結果和微調之后的聚類結果保存成二進制文件；
S52：對所述二進制文件進行哈夫曼編碼，保存為壓縮文件。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于華南理工大學;富士通株式會社，未經華南理工大學;富士通株式會社許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710038007.6/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：編解碼方法、裝置及編解碼設備
- 下一篇：一種生成及使用分布式唯一ID的方法
