[發(fā)明專利]深度學(xué)習(xí)模型的加速方法及裝置

在審

• 申請?zhí)枺?/td>: 202010745500.3
• 申請日: 2020-07-29
• 公開（公告）號: CN112101515A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 付家為;陳東;張放;李曉飛;張德兆;王肖;霍舒豪
• 申請（專利權(quán)）人: 北京智行者科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京慧誠智道知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11539
• 代理人: 李楠

1.一種深度學(xué)習(xí)模型的加速方法，其特征在于，所述方法包括：

獲取模型中的每個(gè)卷積層中的多個(gè)通道中每個(gè)通道的貢獻(xiàn)值；

根據(jù)全部卷積層中各通道的貢獻(xiàn)值，對所述模型中的卷積層中的通道進(jìn)行裁剪，得到裁剪后的模型；

對所述模型和裁剪后的所述模型分別進(jìn)行訓(xùn)練；

對訓(xùn)練后的所述模型和裁剪后訓(xùn)練的模型分別進(jìn)行評估，得到第一評估值和第二評估值；

根據(jù)所述第一評估值和所述第二評估值，確定是否將裁剪后訓(xùn)練的模型作為新模型輸出。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取模型的中每個(gè)卷積層中的多個(gè)通道中每個(gè)通道的貢獻(xiàn)值具體包括：

所述卷積層中每個(gè)通道的輸出乘以所述通道的反向傳播梯度，再乘以樣本個(gè)數(shù)的倒數(shù)，得到卷積層中通道的貢獻(xiàn)值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)全部卷積層的貢獻(xiàn)值，對所述模型中的卷積層中的通道進(jìn)行裁剪，得到裁剪后的模型具體包括：

對全部卷積層的每個(gè)通道的所述貢獻(xiàn)值進(jìn)行排序；

裁剪所述貢獻(xiàn)值不大于預(yù)設(shè)的貢獻(xiàn)值閾值的通道，并將保留的通道確定為第一數(shù)量個(gè)通道，被裁剪掉的通道確定為第二數(shù)量個(gè)通道；

獲取每個(gè)卷積層的保留的通道的個(gè)數(shù)；

當(dāng)任一卷積層的保留的通道個(gè)數(shù)小于預(yù)設(shè)的通道個(gè)數(shù)閾值時(shí)，從所述第二數(shù)量個(gè)通道中，確定第三數(shù)量個(gè)通道，并將所述第三數(shù)量個(gè)通道作為所述任一卷積層的保留的通道；所述任一卷積層的保留的通道個(gè)數(shù)與所述第三數(shù)量個(gè)通道的個(gè)數(shù)相加后等于預(yù)設(shè)的通道個(gè)數(shù)閾值；

根據(jù)所述第一數(shù)量個(gè)通道和所述任一卷積層的保留的通道，得到裁剪后的模型。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對全部卷積層的每個(gè)通道的所述貢獻(xiàn)值進(jìn)行排序之前，還包括：

獲取每個(gè)卷積層的通道的個(gè)數(shù)；

保留通道的個(gè)數(shù)小于預(yù)設(shè)的通道個(gè)數(shù)閾值的卷積層；

將通道的個(gè)數(shù)大于預(yù)設(shè)的通道個(gè)數(shù)閾值的卷積層的每個(gè)通道的貢獻(xiàn)值進(jìn)行排序。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一評估值包括第一推理精度和第一推理速度；所述第二評估值包括第二推理精度和第二推理速度，所述根據(jù)所述第一評估值和所述第二評估值，確定是否將裁剪后訓(xùn)練的模型作為新模型輸出具體包括：

當(dāng)所述第一推理精度與所述第二推理精度的差值在預(yù)設(shè)的推理精度閾值范圍內(nèi)時(shí)，如果所述第二推理速度小于預(yù)設(shè)的推理速度，則繼續(xù)對裁剪后訓(xùn)練的模型進(jìn)行裁剪；或者，

當(dāng)所述第一推理精度與所述第二推理精度的差值在預(yù)設(shè)的推理精度閾值范圍內(nèi)時(shí)，且所述第二推理速度等于預(yù)設(shè)的推理速度，則將裁剪后訓(xùn)練的模型輸出。

6.一種深度學(xué)習(xí)模型的加速裝置，其特征在于，所述裝置包括：

獲取模塊，所述獲取模塊用于獲取模型中的每個(gè)卷積層中的多個(gè)通道中每個(gè)通道的貢獻(xiàn)值；

裁剪模塊，所述裁剪模塊用于根據(jù)全部卷積層中各通道的貢獻(xiàn)值，對所述模型中的卷積層中的通道進(jìn)行裁剪，得到裁剪后的模型；

訓(xùn)練模塊，所述訓(xùn)練模塊用于對所述模型和裁剪后的所述模型分別進(jìn)行訓(xùn)練；

評估模塊，所述評估模塊用于對訓(xùn)練后的所述模型和裁剪后訓(xùn)練的模型分別進(jìn)行評估，得到第一評估值和第二評估值；

確定模塊，所述確定模塊用于根據(jù)所述第一評估值和所述第二評估值，確定是否將裁剪后訓(xùn)練的模型作為新模型輸出。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述獲取模塊具體用于：

所述卷積層中每個(gè)通道的輸出乘以所述通道的反向傳播梯度，再乘以樣本個(gè)數(shù)的倒數(shù)，得到卷積層中通道的貢獻(xiàn)值。