[發明專利]基于跨模態語義表征學習和融合的圖像分類方法及系統

在審

• 申請號: 202210558899.3
• 申請日: 2022-05-21
• 公開（公告）號: CN114898156A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 孟雷;李象賢;鄭裕澤;馬浩凱;齊壯;孟祥旭
• 申請（專利權）人: 山東大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/77;G06V10/82;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 王雪

本發明屬于圖像分類領域，提供了一種基于跨模態語義表征學習和融合的圖像分類方法及系統，包括將獲取的圖像編碼為視覺表征；將獲取的圖像編碼為視覺表征；采用部分異構遷移算法從視覺表征學習與分類緊密相關的視覺分類表征；基于視覺表征，通過跨模態語義信息推理得到跨模態的語義信息推理結果，采用類感知信息選擇算法對跨模態的語義信息推理結果計算高階語義表征；融合視覺分類表征和高階語義表征生成融合表征，基于融合表征進行圖像識別分類；本發明通過表征對齊和跨模態推理提升模型表征學習，能夠與常用的視覺識別方法ResNet、ATNet等相結合，在多模態數據有限的條件下有效提升模型的識別準確率。

技術領域

本發明屬于圖像分類技術領域，具體涉及一種基于跨模態語義表征學習和融合的圖像分類方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

圖像識別作為計算機視覺中最重要的基礎任務之一，已廣泛應用于人臉識別，智能機器人等領域。傳統的圖像識別方法往往使用單一的視覺信息，通過人工手動提取特征或以深度學習中端到端的方式訓練模型來實現圖像識別。隨著大量多模態數據被上傳到社交媒體和網絡平臺中，現有圖像識別算法將文本描述等信息加入模型的訓練過程，并形成了特權信息學習(LUPI)范式。

然而，由于多媒體數據中的圖像數據遠多于其對應的文本描述，現有多模態學習方法難以廣泛使用，因此，如何借助有限的跨模態文本信息指導模型的訓練是一個亟待解決的問題。

現有的LUPI范式主要分為兩類。一類是基于多任務學習的方式，通常使用視覺特征重構的文本特征來增加可用的語義信息。在這類方法中，基于視覺特征進行語義預測的方法常常受到圖像噪聲的干擾，導致在圖像背景信息復雜時，圖像識別準確率下降。另一類則是通過異構特征對齊的方式用文本特征來約束圖像特征的提取過程，然而由于文本特征和圖像特征屬于異構模態，兩類特征在特征分布和值域范圍等方面的差異導致跨模態映射實效有限。因此，亟需新的方法進行圖像特征到文本特征的映射，運用特征融合策略實現視覺與語義層面的多角度特征互補，從而提升模型的圖像識別性能。

發明內容

為了解決上述問題，本發明提出了一種基于跨模態語義表征學習和融合的圖像分類方法及系統，本發明通過跨模態的異構信息對齊和語義重構增強了模型表達能力；為解決跨模態語義表征學習中的問題，提出使用類感知信息選擇方法CIS，基于模型預測和先驗知識的融合，有效選擇視覺語義中的關鍵信息。

根據一些實施例，本發明的第一方案提供了一種基于跨模態語義表征學習和融合的圖像分類方法，采用如下技術方案：

基于跨模態語義表征學習和融合的圖像分類方法，包括：

將獲取的圖像編碼為視覺表征；

采用部分異構遷移算法從視覺表征學習與分類緊密相關的視覺分類表征；

基于視覺表征，通過跨模態語義信息推理得到跨模態的語義信息推理結果，采用類感知信息選擇算法對跨模態的語義信息推理結果計算高階語義表征；

融合視覺分類表征和高階語義表征生成融合表征，基于融合表征進行圖像識別分類。

進一步地，所述采用部分異構遷移算法從視覺表征學習與分類緊密相關的視覺分類表征，包括：

利用單標簽分類和多標簽分類任務中的分類損失，篩選出由關鍵分類信息構成的視覺分類表征；

將部分異構遷移后文本模態的語義分類表征作為先驗知識，將視覺分類表征和語義分類表征進行對齊，得到最終的視覺分類表征。

進一步地，通過交叉CE熵和二元交叉熵BCE損失分別計算單標簽分類和多標簽分類任務中的分類損失：