[發明專利]一種基于深度對抗離散哈希學習的跨模態檢索方法及裝置

在審

• 申請號: 202010225616.4
• 申請日: 2020-03-26
• 公開（公告）號: CN111597298A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 白琮;曾超;馬青;張敬林;陳勝勇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F16/53;G06F16/55;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發明公開了一種基于深度對抗離散哈希學習的跨模態檢索方法及裝置，由三層全連接層構成圖像網絡，由四層全連接層構成文本網絡，最后的哈希值由tanh函數激活得到。通過兩個網絡的對抗訓練能夠保證兩個模態的特征表達趨于一致，由一個待權重的余弦三元組損失函數保證語義相似性，同時也保證了相似樣本的相關度排序性，在優化的過程中維持哈希值的離散性，減小了量化誤差，最終得到兩個個魯棒的保持語義相似性、減小異構鴻溝和累計誤差較小的哈希函數。本發明利用對抗訓練、保持語義相似性及相關度排序性來學習哈希函數，不僅提高了檢索的精度，而且使得到的哈希學習方法具有了更強的語義學習能力。

技術領域

本發明涉及計算機視覺領域的圖像大數據處理與分析以及自然語言的處理與分析技術領域，特別涉及一種基于深度對抗離散哈希學習的跨模態檢索方法及裝置。

背景技術

隨著現代網絡技術的發展，大量的多模態數據每天在人們的日常生活中生成，包括文本，音頻，視頻和圖像。同時，從如此大量的多模態數據中進行有效檢索已成為一個巨大的挑戰，其中圖像到文本和文本到圖像的檢索是最廣泛研究的。基于哈希學習的檢索由于其高效性及存儲的便捷性被廣泛應用于各種檢索任務中。哈希學習通過學習到最優的哈希函數，在盡可能保證原始空間內數據之間的相似度的前提下，將高維數據映射為二值碼。

但由于二值化離散優化是NP問題，而很多方法采用寬松的條件使用連續值進行優化，優化后再把連續值取整為二值碼。在這種寬松的條件下會導致巨大的量化誤差、優化不穩定等問題。

發明內容

本申請的目的是提供一種基于深度對抗離散哈希學習的跨模態檢索方法及裝置，在圖像模態和文本模態中利用多層神經網絡構造特征重構網絡以及非線性哈希函數，并且在兩個模態間設計了分布式的判別器進行對抗訓練。在保證哈希碼離散型前提下設計了目標函數，通過優化該目標函數得到哈希函數。哈希函數將目標數據特征(圖像和文本)轉換為二值碼，檢索時利用二值碼進行跨模態檢索。

一種基于深度對抗離散哈希學習的跨模態檢索方法，包括：

構建用于哈希學習的神經網絡模型，所述神經網絡模型包括圖像網絡和文本網絡，所述圖像網絡和文本網絡分別包括依次連接的特征函數層、哈希函數層和符號函數層，其中，所述特征函數層包括多個全連接層和各個全連接層后的ReLU激活函數，所述哈希函數層包括一個全連接層和tanh激活函數，所述符號函數層對哈希函數層的輸出做符號函數運算來得到哈希碼；

采用加權余弦三元組損失函數、對抗損失函數、分類損失函數、量化損失函數構建所述神經網絡模型的整體目標函數；

獲取訓練數據，對所述神經網絡模型進行訓練，直到整體目標函數收斂；

獲取待檢索的圖像或文本，采用訓練好的所述神經網絡模型進行學習，獲取對應的哈希碼。

進一步的，所述圖像網絡的特征函數層包括兩層全連接層，每個全連接層后加ReLU激活函數；所述文本網絡的特征函數層包括三層全連接層，每個全連接層后加ReLU激活函數。

進一步的，所述加權余弦三元組損失函數為：

其中m為邊界常數，ω(r_j,r_k)是權重因子，r_j代表第j個查詢結果與查詢之間的相似度，r_k代表第k個查詢結果與查詢之間的相似度，cos(.)是余弦函數，代表了圖像網絡哈希函數層的第i個輸出，代表與查詢圖像不相關的文本網絡哈希函數層第k個輸出，代表與查詢圖像相關的文本網絡哈希函數層第j個輸出，代表了文本網絡哈希函數層的第i個輸出，代表與查詢文本不相關的圖像網絡哈希函數層第k個輸出，代表與查詢文本相關的圖像網絡哈希函數層第j個輸出，代表了當查詢目標是圖像時的加權余弦三元組損失函數，代表了當查詢目標是文本時的加權余弦三元組損失函數。