[發明專利]一種基于深度學習的跨模態檢索方法

在審

• 申請號: 202011215604.X
• 申請日: 2020-11-04
• 公開（公告）號: CN112487822A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 顏成鋼;王超怡;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于深度學習的跨模態檢索方法。本發明步驟如下：步驟1：數據的預處理，對訓練集的文本樣本進行預訓練；步驟2：設計網絡結構模型；步驟3：訓練網絡；將訓練集中的樣本輸入到編碼器進行特征提取；步驟4：計算網絡的損失函數；步驟5：對網絡模型進行測試；將測試集的圖像文本輸入到訓練好的模型，得到預測的圖像文本的高級語義表示，通過計算得到的平均精度均值對模型進行評估。本發明不僅考慮了標簽信息空間的損失，還考慮到了公共空間中兩種模態下所有的樣本的辨別力損失以及模態不變性損失。對比現有的方法，本發明方法在不同的數據下分別提高了0.01～0.06個指標。

技術領域

本發明涉及計算機視覺領域，尤其涉及基于深度學習的跨模態檢索方法。

背景技術

隨著信息時代的迅速發展，在線多媒體信息以驚人的速度增長，由于每個人都可以隨時隨地的發布各種多模態的信息，比如音樂、圖片、視頻音頻等多種模態，信息變得多種多樣的同時，準確的獲取真正需要的信息也變得越來越困難。多模態的數據，不僅數據儲量巨大以及大部分數據都是無標簽數據，而且在多樣的不同模態的數據有著難以跨越的“異構鴻溝”，所以如果構建不同模態之間的共享表示，提高精度和準確率，就是跨模態檢索的重要性技術問題。

跨模態檢索技術的核心是衡量不同數據之間的相似性。為了消除“異構鴻溝”，如何關聯不同模態的信息成為了跨模態檢索的關鍵，目前，大多數跨模態檢索是將不同模態的樣本映射到同一子空間。還可以根據使用信息分類為非監督方法和監督方法。監督方法則是使用了樣本所帶有的標簽信息。

標簽信息可以幫助不同的模態之間建立關系，因為不同的模態的樣本具有相同的標簽空間。目前所存在的方法中，標簽更多地被視為另一個模態，或應用于計算相似度。為了提高跨模態檢索的準確率和效率，我們不僅利用標簽信息考慮到了模態間的關聯，模態內的關聯也至關重要。

發明內容

本發明提出一種基于深度學習的有監督跨模態檢索方法。該方法可以有效提高跨模態檢索的效率和準確率。

本發明分別利用兩個網絡結構分別進行，利用DenseNet網絡提取圖片樣本的高級語義表示，先利用Word2Vec預訓練詞向量，并通過文本CNN提取文本樣本的高級語義表示。

該方法具體包括以下步驟：

步驟1：數據的預處理，對訓練集的文本樣本進行預訓練。

步驟2：設計網絡結構模型。

網絡結構采用雙CNN同時進行。通過DenseNet網絡提取圖片樣本的高級語義表示。對于文本樣本，先利用Word2Vec預訓練詞向量，再通過text CNN提取文本的高級語義表示。

步驟3：訓練網絡。將訓練集中的樣本(圖片樣本和文本樣本)輸入到編碼器進行特征提取。

步驟4：計算網絡的損失函數。進行反向傳播，通過選定的優化器和相應參數對連接權重進行優化。訓練多輪后得到最終的網絡模型。

我們將損失函數設定為標簽信息空間的損失，公共空間中兩種模態下所有的樣本的辨別力損失以及模態不變性損失。其中利用了三元組損失以及直接測量的方法得到損失函數的目標函數。

步驟5：對網絡模型進行測試。將測試集的圖像文本輸入到訓練好的模型，得到預測的圖像文本的高級語義表示，通過計算得到的平均精度均值(mAP)對模型進行評估。

本發明有益效果如下：

傳統的利用標簽信息的跨模態檢索，往往只考慮到了模態間的內容相似度，本發明僅考慮了標簽信息空間的損失，還考慮到了公共空間中兩種模態下所有的樣本的辨別力損失以及模態不變性損失。對比現有的方法，本發明方法在不同的數據下分別提高了0.01～0.06個指標。

附圖說明

圖1是網絡結構示意圖；

具體實施方式