[發明專利]深度學習模型壓縮方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202011493194.5
• 申請日: 2020-12-17
• 公開（公告）號: CN112613607A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 劉姝
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N5/04
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 宋薇薇;張元

本發明公開了一種深度學習模型壓縮方法、裝置、計算機設備及存儲介質。所述方法包括：將深度學習模型劃分為多個模塊，并在所述深度學習模型執行在線推理任務時分別統計每個模塊的運行時間；基于每個模塊的運行時間對多個模塊進行篩選以確定若干第一模塊；基于L1范數對所述若干第一模塊的重要程度進行評估，并根據評估結果對所述若干第一模塊進行篩選以確定若干第二模塊；對所述深度學習模型的若干第二模塊進行壓縮以得到壓縮的深度學習模型。本發明的方案綜合考慮了運行時性能與精度，壓縮后的模型可同時滿足對模型實際運行性能與精度的需求，降低模型的計算量和參數量，提升在線推理的速度與效率，進而可推進深度學習應用的推理部署與快速發展。

技術領域

本發明涉及深度學習技術領域，尤其設計一種深度學習模型壓縮方法、一種深度學習模型壓縮裝置、一種計算機設備及一種計算機可讀存儲介質。

背景技術

隨著深度學習在計算機視覺領域的快速發展，越來越多的深度學習模型被越來越多的應用到工業部署中，如用于圖像分類的resnet50、inceptionV3，用于目標檢測的YOLO(You Only Look Once是一種基于深度神經網絡的對象識別和定位算法)、SSD(SingleShot MultiBox Detector，是一種one-stage的通用物體檢測算法)。同時近幾年隨著在深度學習模型部署落地過程中，工業界對模型性能、資源占用的要求越來越高，以便更好的部署到移動端、嵌入式端等資源受限的硬件平臺。模型壓縮技術主要用來對模型結構進行精簡，要求在滿足模型識別精度的同時盡可能降低其對存儲資源、計算資源的占用。

目前，針對深度學習神經網絡模型的壓縮技術中，模型剪枝技術近年來使用較廣，如基于神經元裁剪的非結構化剪枝、基于Channel(通道)裁剪的結構化剪枝，在結構化剪枝中比較經典高效的方法包括Channel Pruning(通道剪枝)、Network Slimming(網絡剪枝)、Discrimination-aware Channel Pruning(鑒別力感知的通道剪枝)等，一般通過特定策略篩選出模型中對精度影響較低的結構，裁剪掉不重要的結構并且對模型不會產生明顯影響，進而達到模型壓縮的效果，然而現有的模型剪枝技術一般主要基于分類模型(如resnet50)，并且剪枝過程中的參考指標一般緊急是模型精度，導致剪枝后的模型實際運行性能提升有限。

發明內容

有鑒于此，有必要針對以上技術問題，提供一種深度學習模型壓縮方法、一種深度學習模型壓縮裝置、一種計算機設備及一種計算機可讀存儲介質。

根據本發明的第一方面，提供了一種深度學習模型壓縮方法，所述方法包括：

將深度學習模型劃分為多個模塊，并在所述深度學習模型執行在線推理任務時分別統計每個模塊的運行時間；

基于每個模塊的運行時間對多個模塊進行篩選以確定若干第一模塊；

基于L1范數對所述若干第一模塊的重要程度進行評估，并根據評估結果對所述若干第一模塊進行篩選以確定若干第二模塊；

對所述深度學習模型的若干第二模塊進行壓縮以得到壓縮的深度學習模型。

在其中一個實施例中，所述基于每個模塊的運行時間對多個模塊進行篩選以確定若干第一模塊的步驟包括：

將每一模塊的運行時間與預設時間進行比較；

將運行時間大于預設運行時間的模塊作為所述若干第一模塊。

在其中一個實施例中，所述基于每個模塊的運行時間對多個模塊進行篩選以確定若干第一模塊的步驟包括：

對多個模塊的運行時間按照大小進行降序排列以得到第一序列；

將所述第一序列中前第一預設個數的運行時間對應的模塊作為所述若干第一模塊。