[發(fā)明專利]一種圖像分類方法、裝置、終端設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811269756.0
• 申請(qǐng)日: 2018-10-29
• 公開（公告）號(hào): CN109522942B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 喬宇;莊培欽;王亞立
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 深圳中一專利商標(biāo)事務(wù)所 44237
• 代理人: 高星

1.一種圖像分類方法，其特征在于，包括：

獲取待分類圖像，所述待分類圖像的圖像類別屬于預(yù)設(shè)的多對(duì)圖像類別組合中的一種，每對(duì)所述圖像類別組合分別包含圖像特征的差別小于預(yù)設(shè)閾值的兩種圖像類別，每對(duì)所述圖像類別組合分別和預(yù)設(shè)的文本庫(kù)中的一個(gè)文本關(guān)聯(lián)，所述文本用于描述關(guān)聯(lián)的圖像類別組合中的兩種圖像類別之間的差異；

將所述待分類圖像輸入預(yù)先構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型，得到所述待分類圖像的圖像特征，所述卷積神經(jīng)網(wǎng)絡(luò)模型由所述多對(duì)圖像類別組合的樣本圖像訓(xùn)練完成；

從所述文本庫(kù)中選取與所述待分類圖像對(duì)應(yīng)的目標(biāo)文本；

將所述目標(biāo)文本轉(zhuǎn)換為詞向量，輸入預(yù)先構(gòu)建的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，得到所述目標(biāo)文本的文本特征，所述循環(huán)神經(jīng)網(wǎng)絡(luò)模型由所述多對(duì)圖像類別組合的樣本圖像以及所述文本庫(kù)中的文本訓(xùn)練完成；

結(jié)合所述文本特征對(duì)所述圖像特征進(jìn)行加權(quán)疊加處理，得到加權(quán)圖像特征；

采用雙線性乘法融合所述加權(quán)圖像特征和所述文本特征；

利用融合后的特征完成兩類分類，得到所述待分類圖像的圖像類別；

其中，所述多對(duì)圖像類別組合中的任意一種圖像類別包含對(duì)應(yīng)的第一標(biāo)簽，所述第一標(biāo)簽用于表示所述任意一種圖像類別在所述多對(duì)圖像類別組合中的圖像類別，在將所述待分類圖像輸入預(yù)先構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型之后，還包括：

根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果確定所述待分類圖像所屬的圖像類別；

結(jié)合所述待分類圖像所屬的圖像類別所對(duì)應(yīng)的目標(biāo)第一標(biāo)簽，采用交叉損失函數(shù)計(jì)算所述卷積神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)值；

根據(jù)所述損失函數(shù)值結(jié)合反向傳播算法對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行更新；

所述從所述文本庫(kù)中選取與所述待分類圖像對(duì)應(yīng)的目標(biāo)文本為：

從所述文本庫(kù)中查找內(nèi)容包含所述目標(biāo)第一標(biāo)簽的文本，作為與所述待分類圖像對(duì)應(yīng)的目標(biāo)文本。

2.如權(quán)利要求1所述的圖像分類方法，其特征在于，所述結(jié)合所述文本特征對(duì)所述圖像特征進(jìn)行加權(quán)疊加處理，得到加權(quán)圖像特征包括：

將所述文本特征和所述圖像特征相乘，得到各個(gè)位置的所述圖像特征的權(quán)重；

將各個(gè)位置的所述圖像特征分別乘以對(duì)應(yīng)位置的權(quán)重，得到第一圖像特征中間值；

采用殘差結(jié)構(gòu)的方式疊加所述圖像特征和所述第一圖像特征中間值，得到第二圖像特征中間值；

對(duì)所述第二圖像特征中間值執(zhí)行全局平均池化操作，得到所述加權(quán)圖像特征。

3.如權(quán)利要求1所述的圖像分類方法，其特征在于，所述利用融合后的特征完成兩類分類，得到所述待分類圖像的圖像類別包括：

將融合后的所述加權(quán)圖像特征和所述文本特征，以及預(yù)先構(gòu)建的三維矩陣相乘，得到二維向量格式的激活值，所述三維矩陣的第三個(gè)維度為2，所述三維矩陣的第一個(gè)維度、所述三維矩陣的第二個(gè)維度、所述加權(quán)圖像特征的維度和所述文本特征的維度相同；

根據(jù)所述激活值判定所述待分類圖像的圖像類別。

4.如權(quán)利要求1至3中任一項(xiàng)所述的圖像分類方法，其特征在于，所述多對(duì)圖像類別組合中的任意一種圖像類別包含對(duì)應(yīng)的第二標(biāo)簽，所述第二標(biāo)簽用于表示所述任意一種圖像類別在自身所屬的圖像類別組合中的圖像類別，在將所述融合后的特征輸入預(yù)設(shè)的兩類分類器之后，還包括：

根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果確定所述待分類圖像所屬的圖像類別；

結(jié)合所述待分類圖像所屬的圖像類別所對(duì)應(yīng)的第二標(biāo)簽，采用交叉損失函數(shù)計(jì)算所述兩類分類器的損失函數(shù)值；

根據(jù)所述損失函數(shù)值結(jié)合反向傳播算法對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)以及所述循環(huán)神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行更新。