[發明專利]一種基于壓縮感知原理的卷積神經網絡壓縮方法及解壓縮方法

有效

• 申請號: 201711215956.3
• 申請日: 2017-11-28
• 公開（公告）號: CN107832837B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 路通;孟周宇;巫義銳
• 申請（專利權）人: 南京大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 王斌

1.一種基于壓縮感知原理的卷積神經網絡壓縮方法，其特征在于，包括：

預處理步驟，將卷積神經網絡中的每一層的權值預處理為一系列矩陣；

壓縮步驟，將預處理步驟得到的預處理結果進行壓縮處理得出壓縮后的權值；

訓練步驟，對壓縮后的權值進行訓練；

編碼步驟，對訓練步驟訓練后的已壓縮權值進行編碼；

模型生成步驟，根據經編碼步驟得到的編碼結果生成壓縮后的卷積神經網絡模型文件；

所述預處理步驟中預處理方法為：將神經網絡每一層的權值按其在卷積核內的行優先順序排列成一系列K×K的矩陣，若數據量不滿K×K則用每一層權值的均值來補齊，其中K≥3；所述壓縮步驟的壓縮方法為：

使用DCT變換將輸入的K×K的矩陣N從空間域轉換到頻率域得到輸出矩陣M；

對使用DCT變換得到的輸出矩陣M進行剪枝處理得到矩陣P；

將矩陣M剪枝得到的矩陣P使用高斯隨機矩陣進行降維采樣得到壓縮后的矩陣：

C＝P·Φ^-1

其中，矩陣C為得到的壓縮矩陣，矩陣P為輸入矩陣，矩陣Φ為高斯隨機矩陣。

2.根據權利要求1所述的卷積神經網絡壓縮方法，其特征在于，所述訓練步驟包括：

使用訓練集對卷積神經網絡做一次常規的前向傳播，前向傳播時，卷積神經網絡使用未壓縮的卷積神經網絡權值；

使用前向傳播的結果對比訓練集的標注算出卷積神經網絡的誤差值，使用該誤差值做一次反向傳播,然后反向傳播得到梯度值，使用得到的梯度值來更新卷積神經網絡權值；

設誤差值為δ，則卷積神經網絡的每個權值對應的梯度為權值矩陣N的更新迭代式就是：其中，μ是學習率；

對應的壓縮后的結果的梯度便是：

其中，得到的是使用高斯隨機矩陣降維采樣后的結果對應的梯度，f_measure是降維采樣函數，Mask_i,j是遮罩函數，當時，當時，f_dct是DCT變換函數，C_i,j是降維采樣后得到的壓縮矩陣，ρ是剪枝時設定的正實數；

對壓縮的結果矩陣C_i,j進行更新迭代訓練：

3.根據權利要求2所述的卷積神經網絡壓縮方法，其特征在于，使用DCT變換得到的輸出矩陣M為：

M＝ANA^T

其中，A為DCT變換矩陣，

當i＝0時，當i≠0時，

4.根據權利要求3所述的卷積神經網絡壓縮方法，其特征在于，所述剪枝處理的方法為：對輸出矩陣M中每個值，取絕對值并作為臨時變量t，若tρ，則略過；若tρ,則將輸出矩陣M中的對應的值設為0，其中，ρ是一個設定的正實數。

5.根據權利要求1所述的卷積神經網絡壓縮方法，其特征在于，所述編碼步驟進行編碼的方法為：對壓縮步驟得到的卷積神經網絡權值使用huffman編碼方法進行編碼。

6.根據權利要求1所述的卷積神經網絡壓縮方法，其特征在于，所述模型生成步驟生成卷積神經網絡模型文件的方法是：對編碼步驟得到的編碼結果生成二進制序列并且存入二進制文件中，該二進制文件即為卷積神經網絡模型文件。

7.一種基于壓縮感知原理的卷積神經網絡解壓縮方法，其特征在于，包括：

模型文件讀取步驟，讀取二進制卷積神經網絡模型文件；

解碼步驟，使用霍夫曼編碼，解碼讀取步驟中讀取的二進制卷積神經網絡模型文件，得到權值；

剪枝還原步驟，還原出頻域上的剪枝過的結果，方法是：

x^t+1＝η_t(Q^*z^t+x^t)

其中，z^t＝y-Qx^t，y為壓縮矩陣C向量化的結果，Q為觀測矩陣，η_t為常量閾值矩陣，設初始值x⁰＝0，然后開始迭代；最終，經過t+1輪的迭代得到的x^t+1便是還原出來的結果；

空域還原步驟，將剪枝還原步驟得到的結果使用DCT變換矩陣的逆矩陣求出空域上的結果N：

N＝A^-1M(A^T)^-1

其中，M為剪枝還原步驟得到的結果，A為DCT變換矩陣。