[發明專利]一種深度神經網絡模型壓縮方法及裝置

有效

• 申請號: 201811015359.0
• 申請日: 2018-08-31
• 公開（公告）號: CN110874635B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 張淵;謝迪;浦世亮
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/045;G06N3/063
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種深度神經網絡模型壓縮方法，其特征在于，應用于電子設備，所述方法包括：

獲取待壓縮深度神經網絡模型中網絡層的當前計算狀態；

根據所述當前計算狀態，通過預先訓練的計算模型，得到所述網絡層的壓縮量；

基于所述壓縮量，對所述網絡層進行壓縮；

確定網絡層壓縮后的深度神經網絡模型，壓縮后的深度神經網絡模型在硬件平臺上運行；所述壓縮后的深度神經網絡模型用于目標檢測與分割、行為檢測與識別、或者語音識別；

其中，預先訓練的計算模型為控制器，所述控制器包含模型參數；

所述根據所述當前計算狀態，通過預先訓練的計算模型，得到所述網絡層的壓縮量的步驟，包括：將所述當前計算狀態輸入所述控制器，所述控制器依據所述當前計算狀態給出網絡層的壓縮量；

所述基于所述壓縮量，對所述網絡層進行壓縮的步驟，包括：所述控制器基于所述壓縮量對所述網絡層進行結構化壓縮；

在所述深度神經網絡模型中所有網絡層均壓縮完成，還包括：對壓縮后的深度神經網絡模型進行短時精調，并將所述模型精度反饋給所述控制器，所述控制器以此反饋信號更新所述模型參數；

所述網絡層的當前計算狀態，包括：所述網絡層的當前計算量、已壓縮計算量及待壓縮計算量；

所述獲取待壓縮深度神經網絡模型中網絡層的當前計算狀態，包括：

獲取待壓縮深度神經網絡模型的預設目標計算量、所述待壓縮深度神經網絡模型中網絡層的當前計算量及已壓縮計算量，所述預設目標計算量為運行深度神經網絡模型的硬件平臺所能承受的最大計算量，所述硬件平臺包括CPU、NP、DSP、ASIC、FPGA、其他可編程邏輯器件、分立門或者晶體管邏輯器件或分立硬件組件中的至少一種；

根據所述預設目標計算量、所述當前計算量及所述已壓縮計算量，計算所述網絡層的待壓縮計算量。

2.根據權利要求1所述的方法，其特征在于，在所述基于所述壓縮量，對所述網絡層進行壓縮之后，所述方法還包括：

針對下一網絡層，返回執行所述獲取待壓縮深度神經網絡模型中網絡層的當前計算狀態，直至對所述待壓縮深度神經網絡模型中的所有網絡層均完成壓縮。

3.根據權利要求1所述的方法，其特征在于，在所述確定網絡層壓縮后的深度神經網絡模型之后，所述方法還包括：

獲取樣本集；

根據所述樣本集，按照預設迭代周期，對所述網絡層壓縮后的深度神經網絡模型的網絡參數進行調整，得到模型精度；

根據所述模型精度，更新所述預先訓練的計算模型的模型參數，并返回執行所述獲取待壓縮深度神經網絡模型中網絡層的當前計算狀態，直至得到當前計算量達到預設目標計算量、且模型精度大于預設閾值的第一目標深度神經網絡模型。

4.根據權利要求3所述的方法，其特征在于，在所述得到當前計算量達到預設目標計算量、且模型精度大于預設閾值的第一目標深度神經網絡模型之后，所述方法還包括：

根據所述樣本集，對所述第一目標深度神經網絡模型的網絡參數進行調整，直至得到模型精度達到所述待壓縮深度神經網絡模型的初始精度的第二目標深度神經網絡模型。