[發明專利]深度學習模型壓縮方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202011493194.5
• 申請日: 2020-12-17
• 公開（公告）號: CN112613607A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 劉姝
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N5/04
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 宋薇薇;張元

1.一種深度學習模型壓縮方法，其特征在于，所述方法包括：

將深度學習模型劃分為多個模塊，并在所述深度學習模型執行在線推理任務時分別統計每個模塊的運行時間；

基于每個模塊的運行時間對多個模塊進行篩選以確定若干第一模塊；

基于L1范數對所述若干第一模塊的重要程度進行評估，并根據評估結果對所述若干第一模塊進行篩選以確定若干第二模塊；

對所述深度學習模型的若干第二模塊進行壓縮以得到壓縮的深度學習模型。

2.根據權利要求1所述的方法，其特征在于，所述基于每個模塊的運行時間對多個模塊進行篩選以確定若干第一模塊的步驟包括：

將每一模塊的運行時間與預設時間進行比較；

將運行時間大于預設運行時間的模塊作為所述若干第一模塊。

3.根據權利要求1所述的方法，其特征在于，所述基于每個模塊的運行時間對多個模塊進行篩選以確定若干第一模塊的步驟包括：

對多個模塊的運行時間按照大小進行降序排列以得到第一序列；

將所述第一序列中前第一預設個數的運行時間對應的模塊作為所述若干第一模塊。

4.根據權利要求1所述的方法，其特征在于，所述基于L1范數對所述若干第一模塊的重要程度進行評估，并根據評估結果對所述若干第一模塊進行篩選以確定若干第二模塊的步驟包括：

計算每一第一模塊的L1范數，并與預設值進行比較；

將L1范數小于預設值的第一模塊作為所述若干第二模塊。

5.根據權利要求1所述的方法，其特征在于，所述基于L1范數對所述若干第一模塊的重要程度進行評估，并根據評估結果對所述若干第一模塊進行篩選以確定若干第二模塊的步驟包括：

計算每一第一模塊的L1范數，并按照L1范數的大小降序排列以得到第二序列；

將所述第二序列中后第二預設個數L1范數對應的模塊作為所述若干第二模塊。

6.根據權利要求1所述的方法，其特征在于，所述對所述深度學習模型的若干第二模塊進行壓縮以得到壓縮的深度學習模型的步驟包括：

利用模型剪枝方式和/或模型量化的方式對若干第二模塊的結構進行裁剪。

7.根據權利要求1-6任意一項所述的方法，其特征在于，所述深度學習模塊為目標檢測模型。

8.一種深度學習模型的壓縮裝置，其特征在于，所述裝置包括：

運行時間統計模塊，用于將深度學習模型劃分為多個模塊，并在所述深度學習模型執行在線推理任務時分別統計每個模塊的運行時間；

第一篩選模塊，用于基于每個模塊的運行時間對多個模塊進行篩選以確定若干第一模塊；

第二篩選模塊，用于基于L1范數對所述若干第一模塊的重要程度進行評估，并根據評估結果對所述若干第一模塊進行篩選以確定若干第二模塊；

壓縮模塊，用于對所述深度學習模型的若干第二模塊進行壓縮以得到壓縮的深度學習模型。

9.一種計算機設備，其特征在于，包括：

至少一個處理器；以及

存儲器，所述存儲器存儲有可在所述處理器中運行的計算機程序，所述處理器執行所述程序時執行權利要求1-7任意一項所述的方法。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時執行權利要求1-7任意一項所述的方法。