[發明專利]一種基于哈希學習的神經網絡壓縮方法及系統

在審

• 申請號: 201910892713.6
• 申請日: 2019-09-20
• 公開（公告）號: CN110782003A
• 公開（公告）日: 2020-02-11
• 發明（設計）人: 沈明珠;徐毅;劉祥龍
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 11381 北京汲智翼成知識產權代理事務所(普通合伙)
• 代理人: 陳曦;賈興昌

本發明公開了一種基于哈希學習的神經網絡壓縮方法及系統。該方法包括如下步驟：在前向傳播中，將每個神經網絡層的輸入特征圖和權重矩陣通過投影矩陣進行壓縮，計算輸出特征圖；在后向傳播中，根據輸出特征圖計算神經網絡的損失函數，并通過損失函數計算每層的輸入特征圖的梯度值、權重矩陣的梯度值和投影矩陣的梯度值；根據每層的權重矩陣的梯度值以及每層的投影矩陣的梯度值分別對權重矩陣和投影矩陣進行更新。該方法在隨機投影的基礎上增加哈希學習的部分，通過同時訓練權重矩陣和投影矩陣的方法來全局最小化損失函數，從而增加算法的分類準確率，達到可接受的微小性能退化的目標，具有很高的靈活性。

技術領域

本發明涉及一種基于哈希學習的神經網絡壓縮方法，同時涉及一種用于實現該方法的神經網絡壓縮系統。

背景技術

近年來，深度神經網絡在很多領域都顯示出巨大的潛力，包括計算機視覺和語音識別等。得益于大數據技術和GPU并行計算的快速發展，在計算復雜網絡龐大的神經學習中提供強大的硬件支持，使得神經網絡模型和深度學習方法越來越多的應用到計算機視覺領域中。在物體識別、圖像分類、圖像檢索、人臉驗證、視頻理解等方面，都有著超出其他方法的準確率和性能的顯著提升。其中，在計算機視覺領域，其中一種深度神經網絡—卷積神經網絡因其在模擬人大腦的抽象和迭代的過程的出色表現，能從大數據中準確獲取信息，從而在很多應用中能夠做到最高的標準。與此同時，我們可以看到在計算機視覺領域正在興起的一些在虛擬現實、增強現實、智能穿戴設備的有趣的進步。綜合來看，在智能便攜設備上加載高性能的識別系統已經刻不容緩。

然而，當今的基于卷積神經網絡的識別系統需要大量的內存和高性能的計算能力，通常都需要在昂貴的GPU集群上實現。盡管神經網絡的訓練可以在GPU集群上訓練，但是如果要做到實時的話，那么測試過程便需要在移動設備上完成。然而深度的卷積神經網絡隨著數據集的增大、特征數的變多，模型的規模、參數的存儲、計算量也隨之增大，導致了很高的計算能力的需求，從而幾乎無法在移動設備或者嵌入式設備中使用，阻礙了其發展。

眾所周知，移動設備、嵌入式設備、普通的移動電腦有內存空間、計算能力和能耗的限制，而在大多數移動設備只有1GB的隨機存取內存(RAM)的條件下，在2014年ImageNet競賽中獲勝的卷積神經網絡訓練得到的參數就已達到了576MB，這會占用大量的RAM，而且為了測試一張圖片載入超過500M的參數在能耗上也是不可接受的，更不用說計算時間了，這些高內存和高計算能力的要求的缺點在移動設備上暴露無遺。因此這些模型對于手機、嵌入式設備、智能穿戴設備來說極大的超過了它們可以承受的內存、所需電量和計算能力。

然而越來越多的深度學習應用都越來越多的朝向移動設備和嵌入式設備中，例如智能手機和機器人上實現圖片分類，自動駕駛汽車需要實時的進行物體識別，所以如何對神經網絡進行壓縮以降低計算量和存儲空間，成為迫切需求。

發明內容

針對現有技術的不足，本發明所要解決的首要技術問題在于提供一種基于哈希學習的神經網絡壓縮方法。

本發明所要解決的另一技術問題提供一種基于哈希學習的神經網絡壓縮系統。

為實現上述發明目的，本發明采用下述的技術方案：

根據本發明實施例的第一方面，提供一種基于哈希學習的神經網絡壓縮方法，包括如下步驟：

在前向傳播中，將每個神經網絡層的輸入特征圖和權重矩陣通過投影矩陣進行壓縮，計算輸出特征圖；

在后向傳播中，根據輸出特征圖計算神經網絡的損失函數，并通過損失函數計算每層的輸入特征圖的梯度值、權重矩陣的梯度值和投影矩陣的梯度值；

根據每層的權重矩陣的梯度值以及每層的投影矩陣的梯度值分別對權重矩陣和投影矩陣進行更新。

其中較優地，在前向傳播中，將每個神經網絡層的輸入特征圖和權重矩陣通過投影矩陣進行壓縮，計算輸出特征圖，采用如下步驟：