[發(fā)明專利]壓縮/解壓縮神經網絡模型的裝置、設備和方法

在審

• 申請?zhí)枺?/td>: 201611159629.6
• 申請日: 2016-12-15
• 公開（公告）號: CN108229644A
• 公開（公告）日: 2018-06-29
• 發(fā)明（設計）人: 陳天石;韋潔;陳云霽;劉少禮;支天;郭崎
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F17/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

一種壓縮/解壓縮神經網絡模型的裝置、設備和方法。其中包括步驟：獲取神經網絡模型的待壓縮參數；采用神經網絡算法對所述待壓縮參數進行壓縮和訓練，獲得低維的神經網絡參數；解壓所述低維的神經網絡參數，恢復神經網絡模型的參數。本發(fā)明用自動編碼神經網絡算法實現壓縮/解壓縮神經網絡模型的裝置，可減少神經網絡模型的參數，有利于模型的存儲和傳輸。

技術領域

本發(fā)明涉及神經網絡模型壓縮/解壓縮算法應用技術領域，更具體地涉及一種壓縮/解壓縮神經網絡模型的裝置和設備，還涉及一種壓縮/解壓縮神經網絡模型的方法。

背景技術

近年來，神經網絡算法被廣泛應用到各個領域，隨著問題復雜度和對準確率要求的不斷提高，神經網絡模型深度不斷增加，隨之而來的是參數數量的爆炸式增長，這給神經網絡模型的存儲和傳輸帶來了極大的不便。設想將來手機上每一個應用都具備深度學習的能力，但每一個應用都要傳輸、存儲上G的神經網絡模型參數，這顯然是不合理的。

傳統(tǒng)的降維方法大多是線性的，例如PCA(Principal Component Analysis，主成分分析)選取高維數據中方差最大的部分方向，通過選擇這些方向，得到包含最多信息的低維表示。然而，PCA方法的線性性導致抽取出的特征類型有很大限制。

發(fā)明內容

有鑒于此，本發(fā)明的目的在于提供一種用自動編碼神經網絡算法壓縮/解壓縮神經網絡模型的裝置和方法，以解決上述至少一個技術問題。

根據本發(fā)明的一方面，提供一種壓縮/解壓縮神經網絡模型的方法，包括步驟：

S1：獲取神經網絡模型的待壓縮參數；

S2：采用神經網絡算法對所述待壓縮參數進行壓縮和訓練，獲得低維的神經網絡參數；

S3：解壓所述低維的神經網絡參數，恢復神經網絡模型的參數。

進一步的，步驟S1包括：對神經網絡模型的待壓縮參數進行遍歷選取，直至選取的待壓縮參數的數量等于設定的維數。

進一步的，步驟S1包括：對神經網絡模型的待壓縮參數進行遍歷選取，對所述待壓縮參數進行稀疏化，對選取的待壓縮參數進行判斷，小于設定閾值的待壓縮參數被設置為0，選取稀疏化后的非零元并標記非零元的位置坐標，直至選取的待壓縮參數的數量等于設定的維數。

進一步的，所述遍歷選取按照構建神經網絡模型的先后順序依次獲取各層的待壓縮參數。

進一步的，步驟S2包括子步驟：

S21：以多層感知器為基礎搭建自動編碼神經網絡，自動編碼神經網絡的輸入層和輸出層節(jié)點數相同，并且隱層節(jié)點數少于輸入層節(jié)點數；

S22：輸入待壓縮參數，對自動編碼神經網絡每層的神經元進行前向傳導計算，得到各層的激活值；

S23：令輸出等于輸入，使用后向傳導算法求出輸出層以及各層神經元的殘差；

S24：利用梯度下降法更新權值W和偏置B，使輸出越來越接近輸入；

S25：權值和偏置收斂后，輸出隱層的值，即為低維的神經網絡參數。

進一步的，采用步驟S21中自動編碼神經網絡的部分網絡進行解壓縮，恢復到輸出層中。

根據本發(fā)明的又一方面，一種壓縮/解壓縮神經網絡模型的裝置，包括參數獲取模塊、模型壓縮模塊、模型存儲模塊和模型解壓縮模塊，其中，

參數獲取模塊，用于獲取神經網絡模型的待壓縮參數；

模型壓縮模塊，用于采用神經網絡算法壓縮所述待壓縮參數，并進行訓練，獲得低維的神經網絡參數；

模型解壓縮模塊，用于解壓縮低維的神經網絡參數，形成恢復的神經網絡參數；以及