[發明專利]一種圖像分類方法、裝置、終端設備和存儲介質

有效

• 申請號: 201811269756.0
• 申請日: 2018-10-29
• 公開（公告）號: CN109522942B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 喬宇;莊培欽;王亞立
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 高星

本發明涉及圖像處理技術領域，提出一種圖像分類方法、裝置、終端設備和計算機存儲介質。在獲取待分類圖像之后，將該待分類圖像輸入預先構建的卷積神經網絡模型，得到該待分類圖像的圖像特征；然后從預設的文本庫中選取與該待分類圖像對應的目標文本，將該目標文本轉換為詞向量，輸入預先構建的循環神經網絡模型，得到該目標文本的文本特征；接著結合該文本特征對該圖像特征進行加權疊加處理，得到加權圖像特征；最后采用雙線性乘法融合該加權圖像特征和該文本特征，利用融合后的特征完成兩類分類，得到該待分類圖像的圖像類別。采用本發明能夠解決高細粒度圖像分類的問題。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種圖像分類方法、裝置、終端設備和計算機存儲介質。

背景技術

圖像分類是指根據圖像信息所反映的不同特征，對不同類別的圖像進行區分的圖像處理方法，利用計算機對圖像進行定量分析，將圖像劃歸為若干個類別中的某一類，以代替人的視覺判斷。目前，常用基于深度的神經網絡模型來實現圖像的分類，處理過程為：利用已知類別的樣本圖像訓練神經網絡模型，將待分類圖像輸入該神經網絡模型，根據該神經網絡模型的輸出結果判定該待分類圖像的類別。然而，在面對高細粒度圖像分類(即兩種不同類別圖像之間的差異極小)問題時，采用上述圖像分類方法無法獲得準確的圖像分類結果。

發明內容

有鑒于此，本發明實施例提供了一種圖像分類方法、裝置、終端設備和計算機存儲介質，即使面對高細粒度圖像分類的問題，也能夠獲得準確的圖像分類結果。

本發明實施例的第一方面提供了一種圖像分類方法，包括：

獲取待分類圖像，所述待分類圖像的圖像類別屬于預設的多對圖像類別組合中的一種，每對所述圖像類別組合分別包含圖像特征的差別小于預設閾值的兩種圖像類別，每對所述圖像類別組合分別和預設的文本庫中的一個文本關聯，所述文本用于描述關聯的圖像類別組合中的兩種圖像類別之間的差異；

將所述待分類圖像輸入預先構建的卷積神經網絡模型，得到所述待分類圖像的圖像特征，所述卷積神經網絡模型由所述多對圖像類別組合的樣本圖像訓練完成；

從所述文本庫中選取與所述待分類圖像對應的目標文本；

將所述目標文本轉換為詞向量，輸入預先構建的循環神經網絡模型，得到所述目標文本的文本特征，所述循環神經網絡模型由所述多對圖像類別組合的樣本圖像以及所述文本庫中的文本訓練完成；

結合所述文本特征對所述圖像特征進行加權疊加處理，得到加權圖像特征；

采用雙線性乘法融合所述加權圖像特征和所述文本特征；

利用融合后的特征完成兩類分類，得到所述待分類圖像的圖像類別。

本發明實施例的第二方面提供了一種圖像分類裝置，包括：

圖像獲取模塊，用于獲取待分類圖像，所述待分類圖像的圖像類別屬于預設的多對圖像類別組合中的一種，每對所述圖像類別組合分別包含圖像特征的差別小于預設閾值的兩種圖像類別，每對所述圖像類別組合分別和預設的文本庫中的一個文本關聯，所述文本用于描述關聯的圖像類別組合中的兩種圖像類別之間的差異；

圖像輸入模塊，用于將所述待分類圖像輸入預先構建的卷積神經網絡模型，得到所述待分類圖像的圖像特征，所述卷積神經網絡模型由所述多對圖像類別組合的樣本圖像訓練完成；

文本選取模塊，用于從所述文本庫中選取與所述待分類圖像對應的目標文本；

文本轉換模塊，用于將所述目標文本轉換為詞向量，輸入預先構建的循環神經網絡模型，得到所述目標文本的文本特征，所述循環神經網絡模型由所述多對圖像類別組合的樣本圖像以及所述文本庫中的文本訓練完成；

特征加權模塊，用于結合所述文本特征對所述圖像特征進行加權疊加處理，得到加權圖像特征；