[發明專利]結合自動編碼器和生成對抗網絡的零樣本跨模態檢索方法

在審

• 申請號: 202010812271.2
• 申請日: 2020-08-13
• 公開（公告）號: CN111966883A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 徐行;田加林;沈復民;邵杰;申恒濤
• 申請（專利權）人: 成都考拉悠然科技有限公司
• 主分類號: G06F16/9532
• 分類號: G06F16/9532;G06F16/432
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 馬林中

本發明公開了一種結合自動編碼器和生成對抗網絡的零樣本跨模態檢索方法，屬于計算機視覺中的跨模態檢索領域。本發明包括：使用預訓練的模型提取各個模態的特征；為每個模態的特征構造相應的編碼器，并生成相應的低維的潛在嵌入表示，并且對潛在嵌入表示進行跨分布對齊；為每個編碼器構造相應的解碼器，從低維的潛在嵌入表示重構每個模態的原始特征；構造相應的判別器，評估與生成器生成的特征分布和真實特征分布是否一致，若一致，則結合自動編碼器和生成對抗網絡聯合訓練整個網絡；在低維的潛在嵌入空間進行零樣本跨模態檢索。本發明能夠實現零樣本跨模態檢索。

技術領域

本發明涉及計算機視覺中的跨模態檢索領域，尤其涉及一種結合自動編碼器和生成對抗網絡的零樣本跨模態檢索方法。

背景技術

隨著互聯網技術的飛速發展，多模態數據(例如圖像，文本，視頻和音頻)出現了爆炸性增長。由于不同模態之間存在跨模態相關性，跨模態檢索成為了研究熱點。跨模態檢索的基本任務是使用對任一模態的查詢數據來檢索其他模態的數據，例如，文本圖像檢索，圖像草圖檢索和視頻檢索。

然而，跨模態檢索面臨名叫“異構鴻溝”的主要問題，即查詢模態和被查詢模態的數據分布是不一致的，因此難以建立模態之間的關系，以及難以衡量模態數據之間的相似性?，F在的主流解決辦法是學習共享的潛在嵌入空間，通過學習各種線性或非線性變換，以將不同模態的數據投影到嵌入空間得到統一的嵌入表示。這消除了不同模態的不一致性，使得衡量不同模態的數據之間的相似性成為可能。

跨模態檢索方法可以被分類為淺層表示學習方法和基于深度學習的方法。淺層表示學習方法所學習的變換通常是線性的和基于統計分析的。這些方法以統計分析的方法建模各個模態數據的特征，以及它們之間的相關關系。通過最大化跨模態的相關關系，淺層表示學習將不同模態的特征投影到學習得到的潛在嵌入空間，消除了不同模態的不一致性問題。

基于深度學習的方法旨在借助深度神經網絡在視覺問題上表現出的強大的特征表達能力，以捕獲跨模態的非線性關系?；谏疃葘W習的方法通常遵循淺層表示學習方法的流程，即對不同模態構建特定的子網絡，并通過聯合層將它們進行連接。由聯合層所構建的跨模態的潛在嵌入空間捕獲了跨模態的非線性關系，提升了整體模型對于復雜多模態分布的關系的分析能力，最終提高了跨模態檢索的檢索準確率。

然而，傳統的跨模態檢索方法都假定實際應用時，被查詢模態和查詢模態所包含了類別與訓練模型時所用的類別相同。零樣本設置下，這樣的假設被放寬到兩者不共享同樣的類別，即訓練時的類別稱為可見類，測試時的類別稱為不可見類。受到零樣本學習領域方法的啟發，采用語義空間作為連接可見類和不可見類的橋梁，使得在可見類和不可見類之間遷移知識稱為了可能。而語義空間可以很輕易地使用預訓練的模型從語料庫中提取的類別嵌入來構建，并不大幅增加跨模態檢索方法的學習開銷。

零樣本學習領域的方法通常致力于探索單一模態的數據和類別嵌入之間關系，而零樣本跨模態檢索不僅要多模態數據帶來的“異構鴻溝”問題，還要解決可見類和不可見類帶來的語義不一致的問題。最近提出的一些零樣本跨模態檢索方法通常直接將零樣本學習方法應用到多模態檢索領域，模型中包含了許多與檢索任務不相關的部分，并沒有考慮這些方法與檢索任務的適應性。

發明內容

本發明的目的是提供一種結合自動編碼器和生成對抗網絡的零樣本跨模態檢索方法，能夠實現零樣本跨模態檢索。

本發明解決其技術問題，采用的技術方案是：結合自動編碼器和生成對抗網絡的零樣本跨模態檢索方法，包括如下步驟：

步驟1、使用預訓練的模型提取各個模態的特征；

步驟2、為每個模態的特征構造相應的編碼器，并生成相應的低維的潛在嵌入表示，并且對潛在嵌入表示進行跨分布對齊；

步驟3、為每個編碼器構造相應的解碼器，從低維的潛在嵌入表示重構每個模態的原始特征；