[發(fā)明專利]深度學(xué)習(xí)模型壓縮方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011493194.5
• 申請(qǐng)日: 2020-12-17
• 公開(kāi)（公告）號(hào): CN112613607A
• 公開(kāi)（公告）日: 2021-04-06
• 發(fā)明（設(shè)計(jì)）人: 劉姝
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N5/04
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 宋薇薇;張?jiān)?/td>

1.一種深度學(xué)習(xí)模型壓縮方法，其特征在于，所述方法包括：

將深度學(xué)習(xí)模型劃分為多個(gè)模塊，并在所述深度學(xué)習(xí)模型執(zhí)行在線推理任務(wù)時(shí)分別統(tǒng)計(jì)每個(gè)模塊的運(yùn)行時(shí)間；

基于每個(gè)模塊的運(yùn)行時(shí)間對(duì)多個(gè)模塊進(jìn)行篩選以確定若干第一模塊；

基于L1范數(shù)對(duì)所述若干第一模塊的重要程度進(jìn)行評(píng)估，并根據(jù)評(píng)估結(jié)果對(duì)所述若干第一模塊進(jìn)行篩選以確定若干第二模塊；

對(duì)所述深度學(xué)習(xí)模型的若干第二模塊進(jìn)行壓縮以得到壓縮的深度學(xué)習(xí)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于每個(gè)模塊的運(yùn)行時(shí)間對(duì)多個(gè)模塊進(jìn)行篩選以確定若干第一模塊的步驟包括：

將每一模塊的運(yùn)行時(shí)間與預(yù)設(shè)時(shí)間進(jìn)行比較；

將運(yùn)行時(shí)間大于預(yù)設(shè)運(yùn)行時(shí)間的模塊作為所述若干第一模塊。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于每個(gè)模塊的運(yùn)行時(shí)間對(duì)多個(gè)模塊進(jìn)行篩選以確定若干第一模塊的步驟包括：

對(duì)多個(gè)模塊的運(yùn)行時(shí)間按照大小進(jìn)行降序排列以得到第一序列；

將所述第一序列中前第一預(yù)設(shè)個(gè)數(shù)的運(yùn)行時(shí)間對(duì)應(yīng)的模塊作為所述若干第一模塊。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于L1范數(shù)對(duì)所述若干第一模塊的重要程度進(jìn)行評(píng)估，并根據(jù)評(píng)估結(jié)果對(duì)所述若干第一模塊進(jìn)行篩選以確定若干第二模塊的步驟包括：

計(jì)算每一第一模塊的L1范數(shù)，并與預(yù)設(shè)值進(jìn)行比較；

將L1范數(shù)小于預(yù)設(shè)值的第一模塊作為所述若干第二模塊。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于L1范數(shù)對(duì)所述若干第一模塊的重要程度進(jìn)行評(píng)估，并根據(jù)評(píng)估結(jié)果對(duì)所述若干第一模塊進(jìn)行篩選以確定若干第二模塊的步驟包括：

計(jì)算每一第一模塊的L1范數(shù)，并按照L1范數(shù)的大小降序排列以得到第二序列；

將所述第二序列中后第二預(yù)設(shè)個(gè)數(shù)L1范數(shù)對(duì)應(yīng)的模塊作為所述若干第二模塊。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述深度學(xué)習(xí)模型的若干第二模塊進(jìn)行壓縮以得到壓縮的深度學(xué)習(xí)模型的步驟包括：

利用模型剪枝方式和/或模型量化的方式對(duì)若干第二模塊的結(jié)構(gòu)進(jìn)行裁剪。

7.根據(jù)權(quán)利要求1-6任意一項(xiàng)所述的方法，其特征在于，所述深度學(xué)習(xí)模塊為目標(biāo)檢測(cè)模型。

8.一種深度學(xué)習(xí)模型的壓縮裝置，其特征在于，所述裝置包括：

運(yùn)行時(shí)間統(tǒng)計(jì)模塊，用于將深度學(xué)習(xí)模型劃分為多個(gè)模塊，并在所述深度學(xué)習(xí)模型執(zhí)行在線推理任務(wù)時(shí)分別統(tǒng)計(jì)每個(gè)模塊的運(yùn)行時(shí)間；

第一篩選模塊，用于基于每個(gè)模塊的運(yùn)行時(shí)間對(duì)多個(gè)模塊進(jìn)行篩選以確定若干第一模塊；

第二篩選模塊，用于基于L1范數(shù)對(duì)所述若干第一模塊的重要程度進(jìn)行評(píng)估，并根據(jù)評(píng)估結(jié)果對(duì)所述若干第一模塊進(jìn)行篩選以確定若干第二模塊；

壓縮模塊，用于對(duì)所述深度學(xué)習(xí)模型的若干第二模塊進(jìn)行壓縮以得到壓縮的深度學(xué)習(xí)模型。

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：

至少一個(gè)處理器；以及

存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有可在所述處理器中運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)執(zhí)行權(quán)利要求1-7任意一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)執(zhí)行權(quán)利要求1-7任意一項(xiàng)所述的方法。