[發明專利]一種基于多模態特征融合的零樣本學習分類方法及設備

在審

• 申請號: 202210207381.5
• 申請日: 2022-03-03
• 公開（公告）號: CN114821148A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 曹偉朋;吳宇豪;張興儉;莊浩;蔡恒;劉鑫
• 申請（專利權）人: 中海華瑞智能科技（天津）有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/77;G06V10/80;G06N3/04;G06N3/08
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 肖鵬

1.一種基于多模態特征融合的零樣本學習分類方法，其特征在于，所述方法包括：

根據訓練樣本的語義特征以及視覺主成特征，得到多模態融合條件特征；

根據所述訓練樣本的真實特征與所述多模態融合條件特征，得到合成視覺特征，并計算所述合成視覺特征的編碼損失函數以及判別器損失函數；

通過第一編碼器，對所述合成視覺特征進行映射，得到語義嵌入特征，并計算所述語義特征與所述語義嵌入特征的循環一致性損失，得到語義模態對齊損失函數；

通過生成對抗網絡的生成器，對所述語義嵌入特征進行重構，得到重構樣本視覺特征，并計算視覺模態對齊損失函數；

根據模型總損失函數，對所述生成器中的相關參數進行優化，直至所述模型總損失函數的值小于第一預設閾值；其中，所述模型總損失函數由所述編碼損失函數、所述判別器損失函數、所述語義模態對齊損失函數以及所述視覺模態對齊損失函數所決定；

根據優化后的所述生成對抗網絡的生成器，對未見類圖像樣本進行分類，得到對應的未見類偽樣本，以將所述未見類偽樣本用于訓練分類器。

2.根據權利要求1所述的一種基于多模態特征融合的零樣本學習分類方法，其特征在于，根據訓練樣本的語義特征以及視覺主成特征，得到多模態融合條件特征，具體包括：

通過預訓練模型ResNet-101，提取所述訓練樣本中的所述真實特征；其中，所述真實特征為2048維視覺特征向量；

對所述訓練樣本的類別特征進行概括，提取所述語義特征；

通過深層主成特征提取網絡，提取所述訓練樣本中的所述視覺主成特征；

根據所述語義特征以及所述視覺主成特征，對所述訓練樣本進行特征提取以及特征融合，得到所述多模態融合條件特征。

3.根據權利要求2所述的一種基于多模態特征融合的零樣本學習分類方法，其特征在于，根據所述語義特征以及所述視覺主成特征，對所述訓練樣本進行特征提取以及特征融合，得到所述多模態融合條件特征，具體包括：

通過特征提取函數，對所述訓練樣本進行特征提取；

根據L_e＝E[logθ(x)]，得到所述特征提取過程的損失；其中，x為所述真實特征，θ(·)為所述特征提取函數，E為期望值；

通過特征層融合模塊，根據對所述語義特征與所述視覺主成特征進行特征融合，得到所述多模態融合條件特征c；其中，x_p為所述視覺主成特征，a為所述語義特征，為聯結符號。

4.根據權利要求1所述的一種基于多模態特征融合的零樣本學習分類方法，其特征在于，根據所述訓練樣本的真實特征與所述多模態融合條件特征，得到合成視覺特征，并計算所述合成視覺特征的編碼損失函數以及判別器損失函數，具體包括：

通過第二編碼器，對所述真實特征與所述多模態融合條件特征進行編碼，得到隨機噪聲；

根據得到所述編碼損失函數其中，z為隨機噪聲，E(x,c)為第二編碼器的期望，logG(z,a)為所述生成對抗網絡的生成器的重構誤差，KL(·)用于計算KL散度距離，β為KL散度的權重參數，p(z|a)表示高斯分布的先驗概率，a為所述語義特征，c為所述多模態融合條件特征，E為期望；

通過變分自編碼器VAE的解碼器，對所述隨機噪聲以及所述語義特征進行解碼，得到所述合成視覺特征；其中，所述生成對抗網絡的生成器共享所述變分自編碼器VAE的解碼器；

通過所述對抗生成網絡的判別器，計算所述真實特征與所述合成視覺特征的相似度；

根據得到所述判別器損失函數其中，為所述真實特征x與所述合成視覺特征的相似度，λE[(||D(x′,a)||₂-1)²]為帶有Lipschitz約束的梯度懲罰項，λ為懲罰參數，x′為語義-視覺特征的聯合分布，其中α～U(0,1)。