[發明專利]壓縮/解壓縮神經網絡模型的裝置、設備和方法

在審

• 申請號: 201611159629.6
• 申請日: 2016-12-15
• 公開（公告）號: CN108229644A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 陳天石;韋潔;陳云霽;劉少禮;支天;郭崎
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F17/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

1.一種壓縮/解壓縮神經網絡模型的方法，包括步驟：

S1：獲取神經網絡模型的待壓縮參數；

S2：采用神經網絡算法對所述待壓縮參數進行壓縮和訓練，獲得低維的神經網絡參數；

S3：解壓所述低維的神經網絡參數，恢復神經網絡模型的參數。

2.根據權利要求1所述的方法，其特征在于，步驟S1包括：

對神經網絡模型的待壓縮參數進行遍歷選取，直至選取的待壓縮參數的數量等于設定的維數。

3.根據權利要求1所述的方法，其特征在于，步驟S1包括：

對神經網絡模型的待壓縮參數進行遍歷選取，對所述待壓縮參數進行稀疏化，對選取的待壓縮參數進行判斷，小于設定閾值的待壓縮參數被設置為0，選取稀疏化后的非零元并標記非零元的位置坐標，直至選取的待壓縮參數的數量等于設定的維數。

4.根據權利要求2或3所述的方法，其特征在于，所述遍歷選取按照構建神經網絡模型的先后順序依次獲取各層的待壓縮參數。

5.根據權利要求1所述的方法，其特征在于，步驟S2包括子步驟：

S21：以多層感知器為基礎搭建自動編碼神經網絡，自動編碼神經網絡的輸入層和輸出層節點數相同，并且隱層節點數少于輸入層節點數；

S22：輸入待壓縮參數，對自動編碼神經網絡每層的神經元進行前向傳導計算，得到各層的激活值；

S23：令輸出等于輸入，使用后向傳導算法求出輸出層以及各層神經元的殘差；

S24：利用梯度下降法更新權值W和偏置B，使輸出越來越接近輸入；

S25：權值和偏置收斂后，輸出隱層的值，即為低維的神經網絡參數。

6.根據權利要求5所述的方法，其特征在于，采用步驟S21中自動編碼神經網絡的部分網絡進行解壓縮，恢復到輸出層中。

7.一種壓縮/解壓縮神經網絡模型的裝置，包括參數獲取模塊、模型壓縮模塊、模型存儲模塊和模型解壓縮模塊，其中，

參數獲取模塊，用于獲取神經網絡模型的待壓縮參數；

模型壓縮模塊，用于采用神經網絡算法壓縮所述待壓縮參數，并進行訓練，獲得低維的神經網絡參數；

模型解壓縮模塊，用于解壓縮低維的神經網絡參數，形成恢復的神經網絡參數；以及

存儲模塊，用于存儲神經網絡模型的待壓縮參數、低維的神經網絡參數和恢復的神經網絡參數。

8.根據權利要求7所述的裝置，其特征在于，所述模型壓縮模塊中，壓縮所述待壓縮參數通過自動編碼神經網絡算法進行壓縮，自動編碼神經網絡分為壓縮網絡、中間隱層和解壓縮網絡，所述壓縮網絡輸入待壓縮參數，輸出至中間隱層，且輸入的節點數大于輸出的節點數。

9.根據權利要求8所述的裝置，其特征在于，所述自動編碼神經網絡以多層感知器為基礎搭建。

10.根據權利要求8所述的裝置，其特征在于，所述模型解壓模塊中，解壓縮低維的神經網絡參數通過所述解壓縮網絡進行解壓，所述解壓縮網絡輸入低維的神經網絡參數，恢復神經網絡參數的數量。

11.一種壓縮/解壓縮神經網絡模型的設備，其中包括：

存儲器，用于存儲可執行指令；以及

處理器，用于執行存儲器中存儲的可執行指令，以執行如下操作：

獲取神經網絡模型的待壓縮參數；

采用神經網絡算法對所述待壓縮參數進行壓縮和訓練，獲得低維的神經網絡參數；

解壓所述低維的神經網絡參數，恢復神經網絡模型的參數。