[發明專利]一種基于深度對抗離散哈希學習的跨模態檢索方法及裝置

在審

• 申請號: 202010225616.4
• 申請日: 2020-03-26
• 公開（公告）號: CN111597298A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 白琮;曾超;馬青;張敬林;陳勝勇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F16/53;G06F16/55;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

1.一種基于深度對抗離散哈希學習的跨模態檢索方法，其特征在于，所述基于深度對抗離散哈希學習的跨模態檢索方法，包括：

構建用于哈希學習的神經網絡模型，所述神經網絡模型包括圖像網絡和文本網絡，所述圖像網絡和文本網絡分別包括依次連接的特征函數層、哈希函數層和符號函數層，其中，所述特征函數層包括多個全連接層和各個全連接層后的ReLU激活函數，所述哈希函數層包括一個全連接層和tanh激活函數，所述符號函數層對哈希函數層的輸出做符號函數運算來得到哈希碼；

采用加權余弦三元組損失函數、對抗損失函數、分類損失函數、量化損失函數構建所述神經網絡模型的整體目標函數；

獲取訓練數據，對所述神經網絡模型進行訓練，直到整體目標函數收斂；

獲取待檢索的圖像或文本，采用訓練好的所述神經網絡模型進行學習，獲取對應的哈希碼。

2.根據權利要求1所述的基于深度對抗離散哈希學習的跨模態檢索方法，其特征在于，所述圖像網絡的特征函數層包括兩層全連接層，每個全連接層后加ReLU激活函數；所述文本網絡的特征函數層包括三層全連接層，每個全連接層后加ReLU激活函數。

3.根據權利要求1所述的基于深度對抗離散哈希學習的跨模態檢索方法，其特征在于，所述加權余弦三元組損失函數為：

其中m為邊界常數，ω(r_j,r_k)是權重因子，r_j代表第j個查詢結果與查詢之間的相似度，r_k代表第k個查詢結果與查詢之間的相似度，cos(.)是余弦函數，代表了圖像網絡哈希函數層的第i個輸出，代表與查詢圖像不相關的文本網絡哈希函數層第k個輸出，代表與查詢圖像相關的文本網絡哈希函數層第j個輸出，代表了文本網絡哈希函數層的第i個輸出，代表與查詢文本不相關的圖像網絡哈希函數層第k個輸出，代表與查詢文本相關的圖像網絡哈希函數層第j個輸出，代表了當查詢目標是圖像時的加權余弦三元組損失函數，代表了當查詢目標是文本時的加權余弦三元組損失函數。

4.根據權利要求1所述的基于深度對抗離散哈希學習的跨模態檢索方法，其特征在于，所述對抗損失函數為：

其中n代表了訓練樣本的總數，D_F代表了特征函數輸出的判別器，D_H代表了哈希函數輸出的判別器，表示特征函數層對應的對抗損失函數，表示哈希函數層對應的對抗損失函數，f^I代表圖像網絡特征函數層的輸出，f^T代表文本網絡特征函數層的輸出，v^I為圖像網絡哈希函數層的輸出，v^T表示文本網絡哈希函數層的輸出。

5.根據權利要求1所述的基于深度對抗離散哈希學習的跨模態檢索方法，其特征在于，所述采用加權余弦三元組損失函數、對抗損失函數、分類損失函數、量化損失函數構建所述神經網絡模型的整體目標函數，構建的整體目標函數如下：

其中，α、β、γ為超參數，代表了當查詢目標是圖像時的加權余弦三元組損失函數，代表了當查詢目標是文本時的加權余弦三元組損失函數；為分類損失函數，為量化損失函數，表示特征函數層對應的對抗損失函數，表示哈希函數層對應的對抗損失函數。

6.一種基于深度對抗離散哈希學習的跨模態檢索裝置，包括處理器以及存儲有若干計算機指令的存儲器，其特征在于，所述計算機指令被處理器執行時實現權利要求1至權利要求5中任意一項所述方法的步驟。