[發(fā)明專利]圖像分類方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010075143.4
• 申請(qǐng)日: 2020-01-22
• 公開（公告）號(hào): CN111783791A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計(jì)）人: 劉曉;余京蕾;王林芳;梅濤
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06K9/46
• 分類號(hào): G06K9/46;G06K9/62
• 代理公司: 中國(guó)貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 李昊;許蓓

本發(fā)明公開了一種圖像分類方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，涉及圖像處理技術(shù)領(lǐng)域。圖像分類方法包括：從待分類圖像中提取目標(biāo)對(duì)象；提取待分類圖像的特征以及目標(biāo)對(duì)象的特征，并將提取的特征進(jìn)行融合；將融合后的特征輸入到分類器中，獲得對(duì)待分類圖像的分類結(jié)果。本發(fā)明可以對(duì)待分類圖像和目標(biāo)對(duì)象的特征均進(jìn)行提取和融合，從而采用同時(shí)具備視覺語義信息和視覺顯著性信息的特征進(jìn)行分類，提高了圖像分類的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種圖像分類方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

深度學(xué)習(xí)的出現(xiàn)為圖像分類(Classification)提供了強(qiáng)有力的技術(shù)支撐，使得分類的準(zhǔn)確率不斷提升。相關(guān)技術(shù)基于原始的像素圖像進(jìn)行分類。

發(fā)明內(nèi)容

發(fā)明人經(jīng)過分析后發(fā)現(xiàn)，原始的像素圖像是從圖像本身的整體信息出發(fā)，進(jìn)行特征提取和預(yù)測(cè)。然而，相關(guān)技術(shù)的圖像分類結(jié)果并不準(zhǔn)確。

本發(fā)明實(shí)施例所要解決的一個(gè)技術(shù)問題是：如何提高圖像分類的準(zhǔn)確率。

根據(jù)本發(fā)明一些實(shí)施例的第一個(gè)方面，提供一種圖像分類方法，包括：從待分類圖像中提取目標(biāo)對(duì)象；提取待分類圖像的特征以及目標(biāo)對(duì)象的特征，并將提取的特征進(jìn)行融合；將融合后的特征輸入到分類器中，獲得對(duì)待分類圖像的分類結(jié)果。

在一些實(shí)施例中，提取待分類圖像的特征以及目標(biāo)對(duì)象的特征，并將提取的特征進(jìn)行融合包括：采用第一特征提取網(wǎng)絡(luò)提取目標(biāo)對(duì)象的特征，第一特征提取網(wǎng)絡(luò)的每一層的輸入特征是第一特征提取網(wǎng)絡(luò)中上一層的輸出特征；采用第二特征提取網(wǎng)絡(luò)提取待分類圖像的特征，第二特征提取網(wǎng)絡(luò)的每一層的輸入特征包括：第二特征提取網(wǎng)絡(luò)中上一層的輸出特征、以及第一特征提取網(wǎng)絡(luò)中相應(yīng)層的輸出特征的融合結(jié)果。

在一些實(shí)施例中，提取待分類圖像的特征以及目標(biāo)對(duì)象的特征，并將提取的特征進(jìn)行融合還包括：將第一特征提取網(wǎng)絡(luò)的輸出特征與第二特征提取網(wǎng)絡(luò)輸出的特征進(jìn)行拼接或加權(quán)求和，以便將拼接結(jié)果或加權(quán)求和的結(jié)果輸入到分類器中。

在一些實(shí)施例中，第二特征提取網(wǎng)絡(luò)的每一層的輸入特征包括：第二特征提取網(wǎng)絡(luò)中上一層的輸出特征和第一特征提取網(wǎng)絡(luò)中相應(yīng)層的輸出特征之和。

在一些實(shí)施例中，從待分類圖像中提取目標(biāo)對(duì)象包括：獲取待分類圖像的顯著性圖像。

在一些實(shí)施例中，獲取待分類圖像的目標(biāo)對(duì)象包括：計(jì)算待分類圖像中，每個(gè)圖像塊與其他塊的顏色距離以及空間距離；根據(jù)顏色距離和空間距離，確定待分類圖像中兩個(gè)不同的圖像塊之間的差異程度；根據(jù)差異程度，確定待分類圖像中的顯著塊；采用顯著塊構(gòu)建待分類圖像的顯著性圖像。

在一些實(shí)施例中，待分類圖像具有多個(gè)通道，顯著性圖像具有一個(gè)通道。

在一些實(shí)施例中，圖像分類方法還包括：獲取訓(xùn)練圖像的目標(biāo)對(duì)象，訓(xùn)練圖像具有已標(biāo)記的分類結(jié)果；采用訓(xùn)練圖像和訓(xùn)練圖像的目標(biāo)對(duì)象對(duì)圖像分類模型進(jìn)行訓(xùn)練，圖像分類模型包括特征提取網(wǎng)絡(luò)和分類器，特征提取網(wǎng)絡(luò)用于提取訓(xùn)練圖像的特征以及訓(xùn)練圖像的目標(biāo)對(duì)象的特征，并將提取的特征進(jìn)行融合。

根據(jù)本發(fā)明一些實(shí)施例的第二個(gè)方面，提供一種圖像分類裝置，包括：目標(biāo)對(duì)象提取模塊，被配置為從待分類圖像中提取目標(biāo)對(duì)象；特征融合模塊，被配置為提取待分類圖像的特征以及目標(biāo)對(duì)象的特征，并將提取的特征進(jìn)行融合；分類模塊，被配置為將融合后的特征輸入到分類器中，獲得對(duì)待分類圖像的分類結(jié)果。

根據(jù)本發(fā)明一些實(shí)施例的第三個(gè)方面，提供一種圖像分類裝置，包括：存儲(chǔ)器；以及耦接至存儲(chǔ)器的處理器，處理器被配置為基于存儲(chǔ)在存儲(chǔ)器中的指令，執(zhí)行前述任意一種圖像分類方法。

根據(jù)本發(fā)明一些實(shí)施例的第四個(gè)方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述任意一種圖像分類方法。