[發(fā)明專利]基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法及相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210458105.6
• 申請(qǐng)日: 2022-04-27
• 公開（公告）號(hào): CN114881136A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 陸強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 際絡(luò)科技（上海）有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 周淑娟

本發(fā)明提供一種基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法及相關(guān)設(shè)備，包括：獲取待分類的圖片；將待分類的圖片輸入剪枝后的分類模型，得到對(duì)應(yīng)的分類結(jié)果；其中，剪枝后的分類模型中的分類模型權(quán)重是通過預(yù)定義的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法對(duì)預(yù)先訓(xùn)練好的剪枝敏感度分析模型搜索得到；預(yù)先訓(xùn)練好的剪枝敏感度分析模型是基于初始分類模型、訓(xùn)練圖片集、訓(xùn)練圖片集對(duì)應(yīng)的標(biāo)簽集以及權(quán)重掩碼訓(xùn)練集訓(xùn)練得到。本發(fā)明能夠大大節(jié)約剪枝耗時(shí)。

技術(shù)領(lǐng)域

本發(fā)明涉及模型剪枝技術(shù)領(lǐng)域，尤其涉及一種基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法及相關(guān)設(shè)備。

背景技術(shù)

目前，深度學(xué)習(xí)模型需要大量算力、內(nèi)存和電量。當(dāng)需要執(zhí)行實(shí)時(shí)推斷、在設(shè)備端運(yùn)行模型、在計(jì)算資源有限的情況下運(yùn)行深度學(xué)習(xí)模型時(shí)，需要體積小且準(zhǔn)確率高的深度學(xué)習(xí)模型，因而模型壓縮則可以實(shí)現(xiàn)這一目標(biāo)，模型剪枝正是模型壓縮中的一種。

模型剪枝其主要用來減少卷積神經(jīng)網(wǎng)絡(luò)中的計(jì)算量，通常情況下是通過裁剪掉神經(jīng)網(wǎng)絡(luò)權(quán)重中不重要的張量來達(dá)到降低整個(gè)神經(jīng)網(wǎng)絡(luò)的計(jì)算量的目的。在對(duì)不重要的張量進(jìn)行剪枝前，需要確定模型各層的稀疏率從而確定出不重要的張量。

現(xiàn)有的稀疏率確定方法包括：各層稀疏一致的方法與對(duì)各層分析其敏感度的方法。其中，敏感度分析方法的主要思路為：依次分析各層剪枝后的模型效果變化，以此判斷各層敏感度。而要想更好地分析各層剪枝后的敏感度，需要在剪枝后對(duì)模型進(jìn)行微調(diào)訓(xùn)練(fine-tuning訓(xùn)練)，如果想獲得給定目標(biāo)下(如特定計(jì)算量要求下)的剪枝配置，需分析所有層的剪枝敏感度，從而確定不重要的張量，剪枝過程耗時(shí)久。

發(fā)明內(nèi)容

本發(fā)明提供一種基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法及相關(guān)設(shè)備，用以解決上述問題。

本發(fā)明提供一種基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，包括：

獲取待分類的圖片；

將所述待分類的圖片輸入剪枝后的分類模型，得到對(duì)應(yīng)的分類結(jié)果；

其中，所述剪枝后的分類模型中的分類模型權(quán)重是通過預(yù)定義的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法對(duì)預(yù)先訓(xùn)練好的剪枝敏感度分析模型搜索得到；

所述預(yù)先訓(xùn)練好的剪枝敏感度分析模型是基于初始分類模型、訓(xùn)練圖片集、所述訓(xùn)練圖片集對(duì)應(yīng)的標(biāo)簽集以及權(quán)重掩碼訓(xùn)練集訓(xùn)練得到。

根據(jù)本發(fā)明提供的一種基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，所述方法還包括：

為初始分類模型中每個(gè)待分析網(wǎng)絡(luò)層構(gòu)建初始剪枝敏感度分析模型；

將權(quán)重掩碼訓(xùn)練集輸入所述初始剪枝敏感度分析模型，得到待分析網(wǎng)絡(luò)層的初始權(quán)重；所述權(quán)重掩碼訓(xùn)練集通過隨機(jī)數(shù)生成方法生成，且所述權(quán)重掩碼訓(xùn)練集中的每項(xiàng)權(quán)重掩碼訓(xùn)練數(shù)據(jù)與剪枝率對(duì)應(yīng)；

將訓(xùn)練圖片集輸入所述初始分類模型，基于每個(gè)待分析網(wǎng)絡(luò)層的初始權(quán)重以及前向計(jì)算得到初始預(yù)測結(jié)果；

根據(jù)所述初始預(yù)測結(jié)果以及所述標(biāo)簽集，利用反向傳播算法對(duì)所述每個(gè)待分析網(wǎng)絡(luò)層的初始權(quán)重進(jìn)行更新，得到待分析網(wǎng)絡(luò)層的更新后權(quán)重；

根據(jù)所述待分析網(wǎng)絡(luò)層的更新后權(quán)重，利用反向傳播算法的鏈?zhǔn)椒▌t，對(duì)所述初始剪枝敏感度分析模型中的權(quán)重進(jìn)行更新，直到所述初始分類模型收斂，從而得到預(yù)先訓(xùn)練好的剪枝敏感度分析模型以及訓(xùn)練好的分類模型。

根據(jù)本發(fā)明提供的一種基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，所述將權(quán)重掩碼訓(xùn)練集輸入所述初始剪枝敏感度分析模型，得到待分析網(wǎng)絡(luò)層的初始權(quán)重，包括：

將權(quán)重掩碼訓(xùn)練集中的權(quán)重掩碼訓(xùn)練數(shù)據(jù)輸入多個(gè)卷積網(wǎng)絡(luò)，以生成特征圖；以及

融合特征圖與權(quán)重掩碼訓(xùn)練數(shù)據(jù)，以生成待分析網(wǎng)絡(luò)層的初始權(quán)重。

根據(jù)本發(fā)明提供的一種基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，所述方法還包括：