[發明專利]基于壓縮感知的神經網絡模型壓縮方法、設備及存儲介質

在審

• 申請號: 202080001140.4
• 申請日: 2020-07-01
• 公開（公告）號: CN112352249A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 高偉;郭洋
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/063
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 晏波

1.一種基于壓縮感知的神經網絡模型壓縮方法，其中，所述基于壓縮感知的神經網絡模型壓縮方法包括：

獲取待壓縮神經網絡模型的原始權重參數，并基于預設第一損失函數與預設變換域的基，在原始域內對所述原始權重參數進行迭代訓練，得到訓練權重參數、以及與所述訓練權重參數對應的觀測矩陣，其中，所述第一損失函數根據神經網絡建模思想與壓縮感知建模思想聯合設計所得；

根據所述變換域的基與所述觀測矩陣進行壓縮感知重建，得到表征所述訓練權重參數在變換域內稀疏度的重建稀疏系數，并確定所述訓練權重參數在變換域內的固定稀疏度；以及，

將所述固定稀疏度整合至所述第一損失函數得到第二損失函數，基于所述第二損失函數對所述重建稀疏系數與所述訓練權重參數進行迭代訓練，得到重訓練權重參數，與表征所述重訓練權重參數在變換域內稀疏度的目標稀疏系數，并根據所述目標稀疏系數在變換域內映射出壓縮后的神經網絡模型。

2.如權利要求1所述的基于壓縮感知的神經網絡模型壓縮方法，其中，所述獲取待壓縮神經網絡模型的原始權重參數，并基于預設第一損失函數與預設變換域的基，在原始域內對所述原始權重參數進行迭代訓練，得到訓練權重參數、以及與所述訓練權重參數對應的觀測矩陣的步驟包括：

獲取待壓縮神經網絡模型的原始權重參數，基于所述第一損失函數與預設變換域的基，在原始域內對所述原始權重參數進行迭代訓練，并獲取對所述原始權重參數進行迭代訓練過程中，與當前網絡性能所對應的第一實時準確率；以及，

確定所述第一實時測試準確率大于或等于預設第一基準準確率，結束當前迭代訓練過程，得到所述訓練權重參數、以及與所述訓練權重參數對應的觀測矩陣。

3.如權利要求2所述的基于壓縮感知的神經網絡模型壓縮方法，其中，所述獲取待壓縮神經網絡模型的原始權重參數，基于所述第一損失函數與預設變換域的基，在原始域內對所述原始權重參數進行迭代訓練，并獲取對所述原始權重參數進行迭代訓練過程中，與當前網絡性能所對應的第一實時準確率的步驟包括：

獲取所述原始權重參數，將標準正交基作為所述變換域的基，并創建初始化參數；以及，

根據所述第一損失函數與所述標準正交基，在原始域內對所述原始權重參數進行隨機梯度下降訓練，在變換域內同步誘導訓練所述初始化參數，并獲取對所述原始權重參數進行迭代訓練過程中，與當前網絡性能所對應的第一實時準確率；

所述確定所述第一實時測試準確率大于或等于預設第一基準準確率，結束當前迭代訓練過程，得到所述訓練權重參數、以及與所述訓練權重參數對應的觀測矩陣的步驟包括：

確定所述第一實時測試準確率大于或等于預設第一基準準確率，結束當前隨機梯度下降訓練過程，將所述初始化參數訓練為所述原始權重參數在變換域內對應的原始稀疏系數，并得到所述訓練權重參數與所述觀測矩陣。

4.如權利要求3所述的基于壓縮感知的神經網絡模型壓縮方法，其中，所述第一損失函數的表達式為：

∑l(f(x,W),y)+λ||W-ψs||₂+μ||s||₁，

其中，∑l(f(x,W),y)表示常規損失函數的表達式，λ和μ表示預設乘積因子，W表示所述原始權重參數，ψ表示所述變換域的基，s表示所述原始稀疏系數，下標2表示采用2-范數約束所述訓練權重參數W與所述原始稀疏系數s之間的關系，下標1表示采用1-范數約束所述原始稀疏系數s。

5.如權利要求1所述的基于壓縮感知的神經網絡模型壓縮方法，其中，所述根據所述變換域的基與所述觀測矩陣進行壓縮感知重建，得到表征所述訓練權重參數在變換域內稀疏度的重建稀疏系數，并確定所述訓練權重參數在變換域內的固定稀疏度的步驟包括：

使用預設采樣矩陣、所述變換域的基與所述觀測矩陣，進行基于子空間追蹤方式的壓縮感知重建，得到所述重建稀疏系數，并確定所述訓練權重參數在變換域內的固定稀疏度。