[發(fā)明專利]一種基于類激活映射機制的多標簽圖像分類方法和系統

有效

• 申請?zhí)枺?/td>: 202110625124.9
• 申請日: 2021-06-04
• 公開（公告）號: CN113449775B
• 公開（公告）日: 2023-02-24
• 發(fā)明（設計）人: 汪洋濤;范立生;彭偉龍;譚偉強
• 申請（專利權）人: 廣州大學
• 主分類號: G06F18/2413
• 分類號: G06F18/2413;G06F18/214;G06F18/25;G06N3/0464
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 黎揚鵬

本發(fā)明公開了一種基于類激活映射機制的多標簽圖像分類方法和系統，方法包括獲取待分類圖像，并將所述待分類圖像轉換為多維張量；將所述多維張量輸入分類模型，得到待分類圖像的分類結果；其中，本發(fā)明在模型訓練階段首先將每張圖像的標簽轉化成標簽詞向量，然后學習不同標簽之間的共現關系，并將這些關系融入到標簽詞向量中，因此能夠解決現有圖像分類方法沒能充分學習標簽之間的依賴關系，而導致圖像分類效果不佳的技術問題；另外，由于本發(fā)明在模型訓練階段結合了類激活映射機制，從而維持了同一張圖像的不同風格的視覺一致性，進而提升了模型的分類效果，可廣泛應用于人工智能技術領域。

技術領域

本發(fā)明涉及人工智能技術領域，尤其是一種基于類激活映射機制的多標簽圖像分類方法和系統。

背景技術

如今，多標簽圖像分類(Multi-label image classification)在計算機視覺領域得到了日漸廣泛的應用，包括多目標識別、情感分析、醫(yī)療診斷識別等。由于每張圖像中都包含多個對象，而且一張圖像包含多種風格，因此如何有效地學習這些對象之間的關聯關系、以及如何維持同一張圖像的不同風格之間的視覺一致性依然充滿著挑戰(zhàn)性。

一般而言，現有的多標簽圖像分類方法首先利用卷積神經網絡得到圖像的特征向量，然后利用圖卷積網絡(Graph Convolutional Network，GCN)得到標簽之間的共現關系詞向量，最后直接采用向量的點積操作來融合圖像特征和標簽的共現關系詞向量，但并沒有考慮圖像不同風格之間的視覺一致性，進而影響圖形分類模型的圖像識別性能。

發(fā)明內容

有鑒于此，本發(fā)明實施例提供一種基于類激活映射機制的多標簽圖像分類方法和系統，以提高圖形分類模型的圖像識別性能。

本發(fā)明的一方面提供了一種基于類激活映射機制的多標簽圖像分類方法，包括：

獲取待分類圖像，并將所述待分類圖像轉換為多維張量；

將所述多維張量輸入分類模型，得到待分類圖像的分類結果；

其中，所述分類模型通過以下步驟訓練得到：

獲取訓練集和測試集，并將所述訓練集中的圖像翻轉；

將原圖和所述翻轉后的圖像輸入至目標網絡，得到原圖的第一特征圖和第一特征向量，以及得到翻轉后的圖像的第二特征圖和第二特征向量；

獲取所述訓練集中所有圖像的標簽，確定各個標簽的標簽詞向量，根據所述標簽詞向量的共現關系詞向量矩陣；

對所述第一特征向量和所述共現關系詞向量矩陣進行融合，得到預測標簽；

通過類激活映射機制將所述第一特征圖和所述共現關系詞向量進行融合，以及通過類激活映射機制將所述第二特征圖和所述共現關系詞向量進行融合，得到所述原圖的第一注意力熱圖和所述翻轉后的圖像的第二注意力熱圖；

根據所述預測標簽構建多標簽分類損失函數，以及根據所述第一注意力熱圖和所述第二注意力熱圖構建注意力一致性損失函數；

根據所述多標簽分類損失函數和所述注意力一致性損失函數，構建總損失函數；

根據所述總損失函數對所述分類模型進行迭代訓練，得到訓練好的分類模型，并根據該分類模型確定所述原圖的最終的預測標簽。

可選地，所述將原圖和所述翻轉后的圖像輸入至目標網絡，得到原圖的第一特征圖和第一特征向量，以及得到翻轉后的圖像的第二特征圖和第二特征向量，包括：

將所述原圖和所述翻轉后的圖像輸入ResNet-101網絡；

從所述ResNet-101網絡的輸出層提取每張原圖的第一特征圖和第一特征向量；