[發(fā)明專(zhuān)利]一種深度學(xué)習(xí)模型推理加速的方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010985523.1
• 申請(qǐng)日: 2020-09-18
• 公開(kāi)（公告）號(hào): CN112200313A
• 公開(kāi)（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 劉姝
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類(lèi)號(hào): G06N3/08
• 分類(lèi)號(hào): G06N3/08;G06N3/04;G06N5/04
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 劉小峰;楊帆

1.一種深度學(xué)習(xí)模型推理加速的方法，其特征在于，包括以下步驟：

根據(jù)裁剪前后性能和精度的綜合提升對(duì)深度學(xué)習(xí)模型進(jìn)行裁剪；

計(jì)算裁剪前的所述深度學(xué)習(xí)模型的第一損失函數(shù)，并計(jì)算裁剪后的所述深度學(xué)習(xí)模型的第二損失函數(shù)；

將所述第一損失函數(shù)加入所述第二損失函數(shù)以對(duì)所述第二損失函數(shù)進(jìn)行更新；以及

通過(guò)更新后的所述第二損失函數(shù)對(duì)裁剪后的所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)裁剪前后性能和精度的綜合提升對(duì)深度學(xué)習(xí)模型進(jìn)行裁剪包括：

對(duì)性能提升和精度提升分配權(quán)重，根據(jù)所述權(quán)重計(jì)算提升的分?jǐn)?shù)，并使用所述分?jǐn)?shù)最高的裁剪方案對(duì)所述深度學(xué)習(xí)模型進(jìn)行裁剪。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)裁剪前后性能和精度的綜合提升對(duì)深度學(xué)習(xí)模型進(jìn)行裁剪包括：

計(jì)算不同的候選裁剪結(jié)構(gòu)在推理平臺(tái)的性能值，并使用性能值最大的候選裁剪結(jié)構(gòu)對(duì)所述深度學(xué)習(xí)模型進(jìn)行裁剪。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算裁剪前的所述深度學(xué)習(xí)模型的第一損失函數(shù)包括：

對(duì)裁剪前的所述深度學(xué)習(xí)模型的預(yù)測(cè)輸出采用預(yù)設(shè)策略以得到軟化的概率分布，并根據(jù)所述軟化的概率分布計(jì)算所述深度學(xué)習(xí)模型的第一損失函數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述計(jì)算裁剪后的所述深度學(xué)習(xí)模型的第二損失函數(shù)包括：

獲取裁剪后的所述深度學(xué)習(xí)模型的預(yù)測(cè)概率分布，并根據(jù)所述預(yù)測(cè)概率分布計(jì)算所述深度學(xué)習(xí)模型的第二損失函數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述第一損失函數(shù)加入所述第二損失函數(shù)以對(duì)所述第二損失函數(shù)進(jìn)行更新包括：

對(duì)所述第一損失函數(shù)和所述第二損失函數(shù)分配權(quán)重，并將基于所述權(quán)重計(jì)算得到的結(jié)果替換所述第二損失函數(shù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述通過(guò)更新后的所述第二損失函數(shù)對(duì)裁剪后的所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練包括：

依次降低所述第二損失函數(shù)的權(quán)重，并根據(jù)每次更新后的所述第二損失函數(shù)對(duì)裁剪后的所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。

8.一種深度學(xué)習(xí)模型推理加速的系統(tǒng)，其特征在于，包括：

裁剪模塊，配置用于根據(jù)裁剪前后性能和精度的綜合提升對(duì)深度學(xué)習(xí)模型進(jìn)行裁剪；

計(jì)算模塊，配置用于計(jì)算裁剪前的所述深度學(xué)習(xí)模型的第一損失函數(shù)，并計(jì)算裁剪后的所述深度學(xué)習(xí)模型的第二損失函數(shù)；

更新模塊，配置用于將所述第一損失函數(shù)加入所述第二損失函數(shù)以對(duì)所述第二損失函數(shù)進(jìn)行更新；以及

訓(xùn)練模塊，配置用于通過(guò)更新后的所述第二損失函數(shù)對(duì)裁剪后的所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：

至少一個(gè)處理器；以及

存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有可在所述處理器上運(yùn)行的計(jì)算機(jī)指令，所述指令由所述處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7任意一項(xiàng)所述方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7任意一項(xiàng)所述方法的步驟。