[發明專利]一種深度神經網絡模型壓縮方法及裝置

有效

• 申請號: 201811015359.0
• 申請日: 2018-08-31
• 公開（公告）號: CN110874635B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 張淵;謝迪;浦世亮
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/045;G06N3/063
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本申請實施例提供了一種深度神經網絡模型壓縮方法及裝置，深度神經網絡模型壓縮方法包括：獲取待壓縮深度神經網絡模型中網絡層的當前計算狀態；根據當前計算狀態，通過預先訓練的計算模型，得到網絡層的壓縮量；基于壓縮量，對網絡層進行壓縮；確定網絡層壓縮后的深度神經網絡模型。通過本方案，可以保證深度神經網絡模型的輸出性能。

技術領域

本申請涉及深度學習技術領域，特別是涉及一種深度神經網絡模型壓縮方法及裝置。

背景技術

DNN(Deep?Neural?Network，深度神經網絡)作為機器學習研究中的一個新興領域，通過模仿人腦的機制來解析數據，是一種通過建立和模擬人腦進行分析學習的智能模型。目前，例如CNN(Convolutional?Neural?Network，卷積神經網絡)、RNN(RecurrentNeural?Network，循環神經網絡)、LSTM(Long?Short?Term?Memory，長短期記憶網絡)等DNN已在目標檢測與分割、行為檢測與識別、語音識別等方面得到了很好的應用。

隨著識別、檢測等實際場景越來越復雜，對DNN的功能要求不斷提高，DNN的網絡結構也越來越復雜、網絡層數不斷增加，使得計算復雜度、硬盤存儲、內存消耗等都隨之大幅度增長。這就要求運行DNN的硬件平臺需具有大計算量、高內存、高帶寬等特點。但是，硬件平臺資源通常情況下是有限的，如何降低DNN對硬件平臺資源的開銷已成為深度學習技術發展亟需解決的問題。

為了降低DNN對硬件平臺資源的開銷，相應的提出了DNN模型壓縮方法，通過人工設置每個網絡層的壓縮量，基于壓縮量對各網絡層進行矩陣分解、通道裁剪等結構化壓縮處理，這樣，可以減少每一個網絡層的計算量，從而達到降低DNN對硬件平臺資源開銷的目的。但是，壓縮量的設置易受到人工的主觀影響，壓縮量設置的不合理，直接影響著DNN模型的輸出性能。

發明內容

本申請實施例的目的在于提供一種深度神經網絡模型壓縮方法及裝置，以保證深度神經網絡模型的輸出性能。具體技術方案如下：

第一方面，本申請實施例提供了一種深度神經網絡模型壓縮方法，所述方法包括：

獲取待壓縮深度神經網絡模型中網絡層的當前計算狀態；

根據所述當前計算狀態，通過預先訓練的計算模型，得到所述網絡層的壓縮量；

基于所述壓縮量，對所述網絡層進行壓縮；

確定網絡層壓縮后的深度神經網絡模型。

可選的，所述網絡層的當前計算狀態，包括：所述網絡層的當前計算量、已壓縮計算量及待壓縮計算量；

所述獲取待壓縮深度神經網絡模型中網絡層的當前計算狀態，包括：

獲取待壓縮深度神經網絡模型的預設目標計算量、所述待壓縮深度神經網絡模型中網絡層的當前計算量及已壓縮計算量；

根據所述預設目標計算量、所述當前計算量及所述已壓縮計算量，計算所述網絡層的待壓縮計算量。

可選的，在所述基于所述壓縮量，對所述網絡層進行壓縮之后，所述方法還包括：

針對下一網絡層，返回執行所述獲取待壓縮深度神經網絡模型中網絡層的當前計算狀態，直至對所述待壓縮深度神經網絡模型中的所有網絡層均完成壓縮。

可選的，在所述確定網絡層壓縮后的深度神經網絡模型之后，所述方法還包括：

獲取樣本集；

根據所述樣本集，按照預設迭代周期，對所述網絡層壓縮后的深度神經網絡模型的網絡參數進行調整，得到模型精度；