[發明專利]一種基于哈希學習的神經網絡壓縮方法及系統在審
| 申請號： | 201910892713.6 | 申請日： | 2019-09-20 |
| 公開（公告）號： | CN110782003A | 公開（公告）日： | 2020-02-11 |
| 發明（設計）人： | 沈明珠;徐毅;劉祥龍 | 申請（專利權）人： | 北京航空航天大學 |
| 主分類號： | G06N3/04 | 分類號： | G06N3/04;G06N3/08 |
| 代理公司： | 11381 北京汲智翼成知識產權代理事務所(普通合伙) | 代理人： | 陳曦;賈興昌 |
| 地址： | 100191*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 權重矩陣 投影矩陣 神經網絡 損失函數 輸出特征 輸入特征 哈希 分類準確率 壓縮 前向傳播 隨機投影 性能退化 可接受 圖計算 最小化 后向 算法 學習 更新 傳播 全局 | ||
1.一種基于哈希學習的神經網絡壓縮方法，其特征在于包括如下步驟：
在前向傳播中，將每個神經網絡層的輸入特征圖和權重矩陣通過投影矩陣進行壓縮，計算輸出特征圖；
在后向傳播中，根據輸出特征圖計算神經網絡的損失函數，并通過損失函數計算每層的輸入特征圖的梯度值、權重矩陣的梯度值和投影矩陣的梯度值；
根據每層的權重矩陣的梯度值以及每層的投影矩陣的梯度值分別對權重矩陣和投影矩陣進行更新。
2.如權利要求1所述的神經網絡壓縮方法，其特征在于在前向傳播中，將每個神經網絡層的輸入特征圖和權重矩陣通過投影矩陣進行壓縮，計算輸出特征圖，采用如下步驟：
對壓縮后的輸入特征圖和權重矩陣相乘，得到輸出特征圖。
3.如權利要求1所述的神經網絡壓縮方法，其特征在于：
將每個神經網絡層的輸入特征圖和權重矩陣通過投影矩陣進行壓縮時，對輸入特征圖和權重矩陣通過相同的投影矩陣進行壓縮。
4.如權利要求1所述的神經網絡壓縮方法，其特征在于將每個神經網絡層的輸入特征圖和權重矩陣通過投影矩陣進行壓縮，包括如下步驟：
對于輸入特征圖Sk和權重矩陣Wk，通過實值的投影矩陣進行投影，將所述輸入特征圖Sk和所述權重矩陣轉換為低維的輸入特征圖和低維的權重矩陣
將低維的低維的輸入特征圖和低維的權重矩陣轉化成二進制的哈希編碼和完成對輸入特征圖和權重矩陣的壓縮；
其中，k為神經網絡層數，b為壓縮因子。
5.如權利要求1所述的神經網絡壓縮方法，其特征在于在前向傳播中，將卷積層的輸入特征圖和權重矩陣通過投影矩陣進行壓縮，計算輸出特征圖；包括如下步驟：
將輸入特征圖和權重矩陣分別重新組織成一個大矩陣；
將重新組織后的輸入特征圖和權重矩陣通過投影矩陣進行壓縮；
對壓縮后的輸入特征圖和權重矩陣相乘，得到輸出特征圖；
對輸出特征圖進行col2im操作得到最終的輸出特征圖。
6.如權利要求1所述的神經網絡壓縮方法，其特征在于：
在后向傳播中，通過損失函數計算每層的輸入特征圖的梯度值、權重矩陣的梯度值和投影矩陣的梯度值；當損失函數中包含的sgn(x)用x替換時，輸入特征圖的梯度值為：
權重矩陣的梯度值為：
其中，為輸出特征圖的梯度值；為實值的進行哈希編碼后的權重矩陣；為實值的投影矩陣；為進行哈希編碼后的輸入特征圖；
投影矩陣的梯度值為：
其中，為輸出特征圖的梯度值；為實值的進行哈希編碼后的權重矩陣；為實值的投影矩陣；為進行哈希編碼后的輸入特征圖；Sk為輸入特征圖；Wk為權重矩陣。
7.如權利要求1所述的神經網絡壓縮方法，其特征在于在后向傳播中，通過損失函數計算每層的輸入特征圖的梯度值、權重矩陣的梯度值投影矩陣的梯度值和；當損失函數中包含的sgn(x)用Htanh(x)替換時，輸入特征圖的梯度值為：
權重矩陣的梯度值為：
其中，為輸出特征圖的梯度值；為實值的進行哈希編碼后的權重矩陣；為實值的投影矩陣；為進行哈希編碼后的輸入特征圖；用表示Hard tanh函數的梯度；
投影矩陣的梯度值為：
其中，為輸出特征圖的梯度值；為實值的進行哈希編碼后的權重矩陣；為實值的投影矩陣；為進行哈希編碼后的輸入特征圖；用表示Hard tanh函數的梯度；Sk為輸入特征圖；Wk為權重矩陣。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京航空航天大學，未經北京航空航天大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910892713.6/1.html，轉載請聲明來源鉆瓜專利網。
