[發明專利]一種基于多模態特征融合的零樣本學習分類方法及設備

在審

• 申請號: 202210207381.5
• 申請日: 2022-03-03
• 公開（公告）號: CN114821148A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 曹偉朋;吳宇豪;張興儉;莊浩;蔡恒;劉鑫
• 申請（專利權）人: 中海華瑞智能科技（天津）有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/77;G06V10/80;G06N3/04;G06N3/08
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 肖鵬

本發明公開了一種基于多模態特征融合的零樣本學習分類方法及設備，屬于圖像識別技術領域，用于解決現有的基于生成模型的零樣本學習模型中存在域偏移問題和視覺特征域偏移問題。方法包括：根據訓練樣本的語義特征以及視覺主成特征，得到多模態融合條件特征；根據訓練樣本的真實特征與多模態融合條件特征，得到合成視覺特征；對合成視覺特征進行映射，得到語義模態對齊損失函數；通過生成器，對語義嵌入特征進行重構，得到重構樣本視覺特征，并計算視覺模態對齊損失函數；根據模型總損失函數，對生成器中的相關參數進行優化；根據優化后的生成器，對未見類圖像樣本進行分類，得到對應的未見類偽樣本，以將未見類偽樣本用于訓練分類器。

技術領域

本申請涉及圖像識別領域，尤其涉及一種基于多模態特征融合的零樣本學習分類方法及設備。

背景技術

近年來，有監督學習在圖像分類任務上取得了顯著成功。得益于深度學習框架的使用以及可用于訓練的標記數據集的不斷增多，模型可以通過充分的訓練來達到高精度的識別效果。然而現階段分類任務存在兩個的挑戰：一是收集大規模數據集成本昂貴，二是面對不斷出現的新類別，樣本采集難度巨大且耗費時間。為了解決這一問題，研究者們從人類認知新事物的過程中得到靈感，提出了零樣本學習(Zero-shot Learning，ZSL)以實現對新穎類的識別。零樣本學習旨在通過在可見類(seen classes)中學到的知識對未見類(unseen classes)進行分類。

語義信息作為連接可見類和未見類的中間橋梁，利用訓練過程中學到的可見類知識來對未見類進行識別。基于生成模型的零樣本學習模型是零樣本學習方法的一種，可以提高廣義零樣本學習中未見類的識別準確率。然而現有的基于生成模型的零樣本學習模型存在兩個問題：模型中訓練好的生成器按照語義描述生成的未見類的視覺特征由于類間可區分性不足而導致分類器對未見類分類時存在域偏移問題；不同數據集上的樣本視覺特征會因為數據收集過程中受到人為因素的影響存在跨域偏差，導致不同數據集之間樣本分布存在差異，因此從零樣本學習的基準數據集中使用的殘差網絡特征會存在視覺特征域偏置問題。

發明內容

本申請實施例提供了一種基于多模態特征融合的零樣本學習分類方法及設備，用于解決如下技術問題：現有的基于生成模型的零樣本學習模型中存在域偏移問題和視覺特征域偏移問題，對廣義零樣本學習中未見類的識別準確率造成較大的影響。

本申請實施例采用下述技術方案：

一方面，本申請實施例提供了一種基于多模態特征融合的零樣本學習分類方法，所述方法包括：根據訓練樣本的語義特征以及視覺主成特征，得到多模態融合條件特征；根據所述訓練樣本的真實特征與所述多模態融合條件特征，得到合成視覺特征，并計算所述合成視覺特征的編碼損失函數以及判別器損失函數；通過第一編碼器，對所述合成視覺特征進行映射，得到語義嵌入特征，并計算所述語義特征與所述語義嵌入特征的循環一致性損失，得到語義模態對齊損失函數；通過生成對抗網絡的生成器，對所述語義嵌入特征進行重構，得到重構樣本視覺特征，并計算視覺模態對齊損失函數；根據模型總損失函數，對所述生成器中的相關參數進行優化，直至所述模型總損失函數的值小于第一預設閾值；其中，所述模型總損失函數由所述編碼損失函數、所述判別器損失函數、所述語義模態對齊損失函數以及所述視覺模態對齊損失函數所決定；根據優化后的所述生成對抗網絡的生成器，對未見類圖像樣本進行分類，得到對應的未見類偽樣本，以將所述未見類偽樣本用于訓練分類器。