[發(fā)明專利]一種基于改進(jìn)MSDNet與知識(shí)蒸餾的識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111218803.0
• 申請(qǐng)日: 2021-10-20
• 公開（公告）號(hào): CN114037856A
• 公開（公告）日: 2022-02-11
• 發(fā)明（設(shè)計(jì)）人: 李尚鍇;王凱;袁明明
• 申請(qǐng)（專利權(quán)）人: 浪潮通信信息系統(tǒng)有限公司
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/774;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 姜麗潔

本發(fā)明涉及IT應(yīng)用領(lǐng)域，具體提供了一種基于改進(jìn)MSDNet與知識(shí)蒸餾的識(shí)別方法，具有如下步驟：S1、獲取識(shí)別圖片進(jìn)行數(shù)據(jù)樣本采集；S2、對(duì)識(shí)別圖片進(jìn)行數(shù)據(jù)預(yù)處理和數(shù)據(jù)清洗獲得滿足要求的足量的識(shí)別圖片，并對(duì)識(shí)別圖片進(jìn)行信息標(biāo)注；S3、對(duì)步驟S2中識(shí)別的圖片采用修改后的MSDNet模型進(jìn)行訓(xùn)練，從而獲得教師模型；S4、將步驟S3中的訓(xùn)練好的模型作為軟標(biāo)簽配合圖片中原有的標(biāo)簽，根據(jù)不同數(shù)據(jù)采用不同的temperture，從而訓(xùn)練出學(xué)生模型；S5、對(duì)步驟S1?S4采集到的數(shù)據(jù)組成識(shí)別的系統(tǒng)。與現(xiàn)有技術(shù)相比，本發(fā)明能使系統(tǒng)獲得更高的性能，即更高的識(shí)別精度。

技術(shù)領(lǐng)域

本發(fā)明涉及IT應(yīng)用領(lǐng)域，具體提供一種基于改進(jìn)MSDNet與知識(shí)蒸餾的識(shí)別方法。

背景技術(shù)

目前的圖片識(shí)別神經(jīng)網(wǎng)絡(luò)效果往往取決于網(wǎng)絡(luò)層數(shù),即模型復(fù)雜度。通常來說，模型越復(fù)雜、卷積層越多的神經(jīng)網(wǎng)絡(luò)可以提取到圖片更多的特征，從而有更好的識(shí)別結(jié)果。

然而，復(fù)雜的網(wǎng)絡(luò)架構(gòu)對(duì)算力要求較高，當(dāng)算力成為瓶頸的時(shí)候，只能采用較為簡(jiǎn)單的識(shí)別模型，而簡(jiǎn)單模型識(shí)別效果通常不能得到很好地識(shí)別效果。隨著神經(jīng)網(wǎng)絡(luò)層數(shù)加深，模型泛化性變差，容易過擬合，使得在訓(xùn)練集上表現(xiàn)好的模型難以在預(yù)測(cè)的時(shí)候表現(xiàn)優(yōu)異。

神經(jīng)網(wǎng)絡(luò)層數(shù)過多，容易產(chǎn)生梯度消失現(xiàn)象，使得訓(xùn)練提前終止，需要多次人工干預(yù)；網(wǎng)絡(luò)過大，使實(shí)時(shí)識(shí)別變得困難，影響實(shí)際應(yīng)用時(shí)候的經(jīng)濟(jì)效益。

目前來看，亟需一種在輕量的前提下達(dá)到較高的識(shí)別精度的模型。

發(fā)明內(nèi)容

本發(fā)明是針對(duì)上述現(xiàn)有技術(shù)的不足，提供一種實(shí)用性強(qiáng)的基于改進(jìn)MSDNet與知識(shí)蒸餾的識(shí)別方法。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種基于改進(jìn)MSDNet與知識(shí)蒸餾的識(shí)別方法，具有如下步驟：

S1、獲取識(shí)別圖片進(jìn)行數(shù)據(jù)樣本采集；

S2、對(duì)識(shí)別圖片進(jìn)行數(shù)據(jù)預(yù)處理和數(shù)據(jù)清洗獲得滿足要求的足量的識(shí)別圖片，并對(duì)識(shí)別圖片進(jìn)行信息標(biāo)注；

S3、對(duì)步驟S2中識(shí)別的圖片采用修改后的MSDNet模型進(jìn)行訓(xùn)練，從而獲得教師模型；

S4、將步驟S3中的訓(xùn)練好的模型作為軟標(biāo)簽配合圖片中原有的標(biāo)簽，根據(jù)不同數(shù)據(jù)采用不同的temperture，從而訓(xùn)練出學(xué)生模型。

S5、對(duì)步驟S1-S4采集到的數(shù)據(jù)組成識(shí)別的系統(tǒng)。

進(jìn)一步的，所述修改后的MSDNet模型為在每個(gè)塊的末尾實(shí)現(xiàn)一個(gè)提前退出分類器，并且能夠通過在任何所需分類器處停止計(jì)算，且所有的子網(wǎng)都共享參數(shù)。

進(jìn)一步的，所述識(shí)別圖片輸入時(shí)，若長(zhǎng)寬比例不匹配，在數(shù)據(jù)清理階段通過添加空白像素點(diǎn)使圖片補(bǔ)充至指定要求。

進(jìn)一步的，在MSDNet模型進(jìn)行訓(xùn)練時(shí)，卷積后使用ReLu激活函數(shù)：

φ(x)＝max(0，x)然后使用Inception網(wǎng)絡(luò)把稀疏矩陣轉(zhuǎn)換成密集的自矩陣，在沿著深度劃分為若干塊之后，在每個(gè)塊的末尾實(shí)現(xiàn)一個(gè)提前退出分類器，最后使用全聯(lián)接層，將卷積后神經(jīng)網(wǎng)絡(luò)提取的特征轉(zhuǎn)換以數(shù)據(jù)的形式輸入到全聯(lián)接層之中。

進(jìn)一步的，在知識(shí)蒸餾時(shí)，直接讓學(xué)生模型去學(xué)習(xí)教師模型的泛化能力，遷移泛化能力的方法為使用softmax層輸出的類別的概率來作為soft target。

進(jìn)一步的，直接使用softmax層的輸出值作為soft target，當(dāng)softmax輸出的概率分布熵相對(duì)較小時(shí)，負(fù)標(biāo)簽的值都很接近0，對(duì)損失函數(shù)的貢獻(xiàn)非常小，小到可以忽略不計(jì)，無法有效的捕捉信息量，因此在softmax函數(shù)中添加“溫度”這個(gè)變量，在softmax函數(shù)為：