[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)剪枝、推理方法、設(shè)備以及計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010148557.5
• 申請(qǐng)日: 2020-03-05
• 公開（公告）號(hào): CN113361702A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 涂小兵;薛盛可;李春強(qiáng);尚云海;勞懋元;張偉豐
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04;G06N5/04
• 代理公司: 上海百一領(lǐng)御專利代理事務(wù)所(普通合伙) 31243
• 代理人: 陳貞健;邵棟

1.一種卷積神經(jīng)網(wǎng)絡(luò)剪枝方法，其中，該方法包括：

確定卷積神經(jīng)網(wǎng)絡(luò)模型中第i層卷積層中各組卷積核的顯著性度量值，其中，所述顯著性度量值表示所述卷積核對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型獲得正確結(jié)果的影響程度，i為正整數(shù)；

對(duì)第i層卷積層中顯著性度量值最小的至少一組卷積核進(jìn)行剪枝處理；

基于剪枝處理后的第i層卷積層，更新第i+1層卷積層的特征圖和卷積核。

2.根據(jù)權(quán)利要求1所述的方法，其中，對(duì)第i層卷積層中顯著性度量值最小的至少一組卷積核進(jìn)行剪枝處理，包括：

對(duì)第i層卷積層中的卷積核按照顯著性度量值進(jìn)行排序；

根據(jù)所述排序結(jié)果，將顯著性度量值最小的至少一組卷積核確定為目標(biāo)卷積核；

對(duì)所述目標(biāo)卷積核進(jìn)行剪枝處理。

3.根據(jù)權(quán)利要求2所述的方法，其中，根據(jù)所述排序結(jié)果，將顯著性度量值最小的至少一組卷積核確定為目標(biāo)卷積核，包括：

根據(jù)所述排序結(jié)果確定第i層卷積層中卷積核的顯著性曲線；

根據(jù)所述顯著性曲線的陡峭程度，確定需要待剪枝的卷積核的剪枝數(shù)量；

將第i層卷積層中顯著性度量值最小的N組卷積核確定為目標(biāo)卷積核，N為剪枝數(shù)量。

4.根據(jù)權(quán)利要求1所述的方法，其中，確定卷積神經(jīng)網(wǎng)絡(luò)模型中第i層卷積層中各組卷積核的顯著性度量值，包括：

獲取卷積神經(jīng)網(wǎng)絡(luò)模型中第i層卷積層中各組卷積核的權(quán)重值；

根據(jù)所述第i層卷積層中各組卷積核的權(quán)重值，計(jì)算各組卷積核的L1范數(shù)或L2范數(shù)；

將所述L1范數(shù)或L2范數(shù)確定為所述卷積核的顯著性度量值。

5.根據(jù)權(quán)利要求1所述的方法，其中，確定卷積神經(jīng)網(wǎng)絡(luò)模型中第i層卷積層中各組卷積核的顯著性度量值，包括：

根據(jù)預(yù)設(shè)的損失函數(shù)，計(jì)算卷積神經(jīng)網(wǎng)絡(luò)模型中第i層卷積層中各組卷積核的損失函數(shù)值；

將所述損失函數(shù)值確定為所述卷積核的顯著性度量值。

6.根據(jù)權(quán)利要求1所述的方法，其中，對(duì)第i層卷積層中顯著性度量值最小的至少一組卷積核進(jìn)行剪枝處理，包括：

將第i層卷積層中顯著性度量值最小的至少一組卷積核的權(quán)重值置為零，并在訓(xùn)練過程中不更新置零的權(quán)重值。

7.根據(jù)權(quán)利要求6所述的方法，其中，基于剪枝處理后的第i層卷積層，更新第i+1層卷積層的特征圖和卷積核，包括：

基于剪枝處理后的第i層卷積層進(jìn)行卷積計(jì)算，獲得第i+1層卷積層的特征圖，所述第i+1層卷積層的關(guān)聯(lián)特征圖的值為零，所述關(guān)聯(lián)特征圖為與第i層卷積層中已剪枝的卷積核對(duì)應(yīng)的通道的特征圖；

將所述第i+1層的各組卷積核中關(guān)聯(lián)通道的卷積核的權(quán)重值置零，并在訓(xùn)練過程中不更新置零的權(quán)重值，其中，所述關(guān)聯(lián)通道為所述卷積核中與第i+1層卷積層中的關(guān)聯(lián)特征圖對(duì)應(yīng)的通道。

8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法，其中，該方法還包括：

重新訓(xùn)練完成剪枝后的卷積神經(jīng)網(wǎng)絡(luò)模型。

9.一種基于卷積神經(jīng)網(wǎng)絡(luò)的推理方法，其中，該方法包括：

獲取卷積神經(jīng)網(wǎng)絡(luò)模型，所述卷積神經(jīng)網(wǎng)絡(luò)模型為采用如權(quán)利要求8中所述的方法進(jìn)行剪枝處理并重新訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型；

利用所述卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)輸入數(shù)據(jù)進(jìn)行推理，獲得輸出數(shù)據(jù)。

10.一種卷積神經(jīng)網(wǎng)絡(luò)剪枝設(shè)備，其中，該設(shè)備包括：

計(jì)算處理模塊，用于確定卷積神經(jīng)網(wǎng)絡(luò)模型中第i層卷積層中各組卷積核的顯著性度量值，其中，所述顯著性度量值表示所述卷積核對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型獲得正確結(jié)果的影響程度，i為正整數(shù)；

剪枝處理模塊，用于對(duì)第i層卷積層中顯著性度量值最小的至少一組卷積核進(jìn)行剪枝處理，以及基于剪枝處理后的第i層卷積層，更新第i+1層卷積層的特征圖和卷積核。