[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)訓(xùn)練及圖像分類方法、裝置、存儲介質(zhì)、設(shè)備

在審

• 申請?zhí)枺?/td>: 202010833576.1
• 申請日: 2020-08-18
• 公開（公告）號: CN111967597A
• 公開（公告）日: 2020-11-20
• 發(fā)明（設(shè)計）人: 李瀟婕;王飛;錢晨
• 申請（專利權(quán)）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 靳玫

1.一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，包括：

將樣本圖像分別輸入教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)，得到所述教師網(wǎng)絡(luò)輸出的第一特征圖，以及所述學(xué)生網(wǎng)絡(luò)輸出的第二特征圖；

基于所述第一特征圖包括的特征信息，確定第一關(guān)聯(lián)特征信息，以及基于所述第二特征圖包括的特征信息，確定第二關(guān)聯(lián)特征信息；

基于所述第二關(guān)聯(lián)特征信息相對于所述第一關(guān)聯(lián)特征信息的差異，對所述學(xué)生網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

基于所述第一特征圖，確定目標(biāo)區(qū)域；

基于所述目標(biāo)區(qū)域以及所述第一特征圖，確定第一目標(biāo)特征圖，以及基于所述目標(biāo)區(qū)域以及所述第二特征圖，確定第二目標(biāo)特征圖；

所述基于所述第一特征圖包括的特征信息，確定第一關(guān)聯(lián)特征信息，以及基于所述第二特征圖包括的特征信息，確定第二關(guān)聯(lián)特征信息，包括：

基于所述第一目標(biāo)特征圖包括的特征信息，確定所述第一關(guān)聯(lián)特征信息，以及基于所述第二目標(biāo)特征圖包括的特征信息，確定所述第二關(guān)聯(lián)特征信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述樣本圖像的所述目標(biāo)區(qū)域包括目標(biāo)對象，和/或，所述樣本圖像中除所述目標(biāo)區(qū)域以外的區(qū)域包括如下至少一項：背景部分、所述目標(biāo)對象被遮擋的部分。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述基于所述第一特征圖，確定目標(biāo)區(qū)域，包括：

將所述第一特征圖輸入預(yù)先訓(xùn)練好的第一神經(jīng)網(wǎng)絡(luò)，得到所述第一神經(jīng)網(wǎng)絡(luò)輸出的所述樣本圖像包括的多個區(qū)域中每個區(qū)域?qū)?yīng)的像素歸一化值；

將所述像素歸一化值大于或等于預(yù)設(shè)值的區(qū)域作為所述目標(biāo)區(qū)域。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述目標(biāo)區(qū)域以及所述第一特征圖，確定第一目標(biāo)特征圖，以及基于所述目標(biāo)區(qū)域以及所述第二特征圖，確定第二目標(biāo)特征圖，包括：

將所述多個區(qū)域中每個區(qū)域?qū)?yīng)的像素歸一化值與所述第一特征圖包括的特征信息進(jìn)行點乘，得到第一注意力特征圖，以及將所述多個區(qū)域中每個區(qū)域?qū)?yīng)的像素歸一化值與所述第二特征圖包括的特征信息進(jìn)行點乘，得到第二注意力特征圖；

基于所述第一注意力特征圖上的所述目標(biāo)區(qū)域，得到所述第一目標(biāo)特征圖，以及基于所述第二注意力特征圖上的所述目標(biāo)區(qū)域，得到所述第二目標(biāo)特征圖。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述第一神經(jīng)網(wǎng)絡(luò)包括多個第一網(wǎng)絡(luò)層和第一輸出層，第二神經(jīng)網(wǎng)絡(luò)包括多個第二網(wǎng)絡(luò)層和第二輸出層，其中，所述多個第二網(wǎng)絡(luò)層的網(wǎng)絡(luò)結(jié)構(gòu)與所述多個第一網(wǎng)絡(luò)層的網(wǎng)絡(luò)結(jié)構(gòu)相同；

所述方法還包括：

將所述第一特征圖作為所述第二神經(jīng)網(wǎng)絡(luò)的輸入，得到所述第二神經(jīng)網(wǎng)絡(luò)輸出的分類結(jié)果；

基于所述第二神經(jīng)網(wǎng)絡(luò)輸出的分類結(jié)果相對于所述樣本圖像中標(biāo)注的分類結(jié)果的差異，對所述第二神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練；

將訓(xùn)練完成的所述第二神經(jīng)網(wǎng)絡(luò)包括的所述多個第二網(wǎng)絡(luò)層的網(wǎng)絡(luò)參數(shù)，作為所述第一神經(jīng)網(wǎng)絡(luò)包括的所述多個第一網(wǎng)絡(luò)層的網(wǎng)絡(luò)參數(shù)。

7.根據(jù)權(quán)利要求1-6任一項所述的方法，其特征在于，所述基于所述第一特征圖包括的特征信息，確定第一關(guān)聯(lián)特征信息，包括：

基于所述第一特征圖上不同區(qū)域的特征信息之間的相似度，確定所述第一關(guān)聯(lián)特征信息；

所述基于所述第二特征圖包括的特征信息，確定第二聯(lián)特征信息，包括：

基于所述第二特征圖上不同區(qū)域的特征信息之間的相似度，確定所述第二關(guān)聯(lián)特征信息。