[發(fā)明專利]基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法及相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210458105.6
• 申請(qǐng)日: 2022-04-27
• 公開（公告）號(hào): CN114881136A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 陸強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 際絡(luò)科技（上海）有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 周淑娟

1.一種基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，其特征在于，包括：

獲取待分類的圖片；

將所述待分類的圖片輸入剪枝后的分類模型，得到對(duì)應(yīng)的分類結(jié)果；

其中，所述剪枝后的分類模型中的分類模型權(quán)重是通過預(yù)定義的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法對(duì)預(yù)先訓(xùn)練好的剪枝敏感度分析模型搜索得到；

所述預(yù)先訓(xùn)練好的剪枝敏感度分析模型是基于初始分類模型、訓(xùn)練圖片集、所述訓(xùn)練圖片集對(duì)應(yīng)的標(biāo)簽集以及權(quán)重掩碼訓(xùn)練集訓(xùn)練得到。

2.根據(jù)權(quán)利要求1所述的基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，其特征在于，所述方法還包括：

為初始分類模型中每個(gè)待分析網(wǎng)絡(luò)層構(gòu)建初始剪枝敏感度分析模型；

將權(quán)重掩碼訓(xùn)練集輸入所述初始剪枝敏感度分析模型，得到待分析網(wǎng)絡(luò)層的初始權(quán)重；所述權(quán)重掩碼訓(xùn)練集通過隨機(jī)數(shù)生成方法生成，且所述權(quán)重掩碼訓(xùn)練集中的每項(xiàng)權(quán)重掩碼訓(xùn)練數(shù)據(jù)與剪枝率對(duì)應(yīng)；

將訓(xùn)練圖片集輸入所述初始分類模型，基于每個(gè)待分析網(wǎng)絡(luò)層的初始權(quán)重以及前向計(jì)算得到初始預(yù)測(cè)結(jié)果；

根據(jù)所述初始預(yù)測(cè)結(jié)果以及所述標(biāo)簽集，利用反向傳播算法對(duì)所述每個(gè)待分析網(wǎng)絡(luò)層的初始權(quán)重進(jìn)行更新，得到待分析網(wǎng)絡(luò)層的更新后權(quán)重；

根據(jù)所述待分析網(wǎng)絡(luò)層的更新后權(quán)重，利用反向傳播算法的鏈?zhǔn)椒▌t，對(duì)所述初始剪枝敏感度分析模型中的權(quán)重進(jìn)行更新，直到所述初始分類模型收斂，從而得到預(yù)先訓(xùn)練好的剪枝敏感度分析模型以及訓(xùn)練好的分類模型。

3.根據(jù)權(quán)利要求2所述的基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，其特征在于，所述將權(quán)重掩碼訓(xùn)練集輸入所述初始剪枝敏感度分析模型，得到待分析網(wǎng)絡(luò)層的初始權(quán)重，包括：

將所述權(quán)重掩碼訓(xùn)練集中的權(quán)重掩碼訓(xùn)練數(shù)據(jù)輸入多個(gè)卷積網(wǎng)絡(luò)，以生成特征圖；以及

融合所述特征圖與所述權(quán)重掩碼訓(xùn)練數(shù)據(jù)，以生成所述待分析網(wǎng)絡(luò)層的所述初始權(quán)重。

4.根據(jù)權(quán)利要求2所述的基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，其特征在于，所述方法還包括：

步驟201，在預(yù)設(shè)的剪枝率搜索空間內(nèi)窮舉所述訓(xùn)練好的分類模型中每個(gè)網(wǎng)絡(luò)層的剪枝率，得到剪枝率集合；在所述剪枝率集合中篩選出滿足預(yù)設(shè)的剪枝目標(biāo)的剪枝率，作為待分析剪枝率；其中，所述預(yù)設(shè)的剪枝目標(biāo)為所述訓(xùn)練好的分類模型的剪枝目標(biāo)；

步驟202，根據(jù)剪枝率與權(quán)重掩碼的對(duì)應(yīng)關(guān)系，確定所述待分析剪枝率所對(duì)應(yīng)的權(quán)重掩碼，作為待分析權(quán)重掩碼；

步驟203，將所述待分析權(quán)重掩碼輸入所述預(yù)先訓(xùn)練好的剪枝敏感度分析模型中，得到所述訓(xùn)練好的分類模型對(duì)應(yīng)的剪枝后權(quán)重；

步驟204，基于所述剪枝后權(quán)重對(duì)所述訓(xùn)練好的分類模型進(jìn)行性能評(píng)價(jià)，得到性能評(píng)價(jià)指標(biāo)值；

步驟205，重復(fù)所述步驟203至所述步驟204，直到窮盡所有待分析剪枝率，從而得到多個(gè)性能評(píng)價(jià)指標(biāo)值；

步驟206，從所述多個(gè)性能評(píng)價(jià)指標(biāo)值中確定出最大的性能評(píng)價(jià)指標(biāo)值作為最優(yōu)靈敏度，將所述最優(yōu)靈敏度對(duì)應(yīng)的剪枝后權(quán)重作為剪枝后的分類模型中的分類模型權(quán)重。

5.根據(jù)權(quán)利要求4所述的基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，其特征在于，所述剪枝率與權(quán)重掩碼的對(duì)應(yīng)關(guān)系為權(quán)重掩碼mask基于剪枝率p與權(quán)重維度信息得到，其中，所述權(quán)重維度信息包括通道數(shù)C：

mask[0:C*p]＝0，mask[C*p:C]＝1

其中，mask[0:C*p]＝0為C個(gè)通道中前C*p個(gè)通道對(duì)應(yīng)的權(quán)重掩碼mask為0，mask[C*p:C]＝1為C個(gè)通道中后C-C*p個(gè)通道對(duì)應(yīng)的權(quán)重掩碼mask為1。

6.根據(jù)權(quán)利要求4所述的基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，其特征在于，所述在預(yù)設(shè)的剪枝率搜索空間內(nèi)窮舉所述訓(xùn)練好的分類模型中每個(gè)網(wǎng)絡(luò)層的剪枝率，得到剪枝率集合，包括：

根據(jù)預(yù)先設(shè)定的剪枝率的取值范圍以及剪枝率取值步長(zhǎng)，在所述預(yù)先設(shè)定的剪枝率的取值范圍內(nèi)，窮舉得到所有符合所述剪枝率取值步長(zhǎng)的剪枝率，從而得到剪枝率集合。

7.根據(jù)權(quán)利要求4-6任一所述的基于剪枝卷積神經(jīng)網(wǎng)絡(luò)的分類方法，其特征在于，所述預(yù)設(shè)的剪枝目標(biāo)包括以下至少一項(xiàng)：所述訓(xùn)練好的分類模型的目標(biāo)計(jì)算力；所述訓(xùn)練好的分類模型的目標(biāo)參數(shù)量。