[發明專利]一種基于深度學習的跨模態哈希檢索方法

有效

• 申請號: 201910196009.7
• 申請日: 2019-03-14
• 公開（公告）號: CN110019652B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 董西偉;鄧安遠;周軍;楊茂保;孫麗;胡芳;賈海英;王海霞
• 申請（專利權）人: 九江學院
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/51
• 代理公司: 湖北創融藍圖知識產權代理事務所(特殊普通合伙) 42276
• 代理人: 羊淑梅

1.一種基于深度學習的跨模態哈希檢索方法，假設n個對象的圖像模態的像素特征向量集為其中，v_i表示第i個對象在圖像模態的像素特征向量；令表示這n個對象在文本模態的特征向量，其中，t_i表示第i個對象在文本模態的特征向量；將n個對象的類別標記向量表示為其中，c表示對象類別的數量；對于向量y_i來說，如果第i個對象屬于第k類，則令向量y_i的第k個元素為1，否則，向量y_i的第k個元素為0；其特征在于，該方法包括以下步驟：

(1)使用基于深度學習技術設計的目標函數得到圖像模態和文本模態共享的二進制哈希編碼B，圖像模態和文本模態的深度神經網絡參數θ_v和θ_t，以及圖像模態和文本模態的投影矩陣P_v和P_t；

(2)使用交替求解的方式求解目標函數中的未知變量B、θ_v、θ_t、P_v和P_t，即交替的求解如下三個子問題：固定B、P_v和P_t，求解θ_v和θ_t；固定B、θ_v和θ_t，求解P_v和P_t；固定θ_v、θ_t、P_v和P_t，求解B；

(3)基于求解得到的圖像模態和文本模態的深度神經網絡參數θ_v和θ_t，以及投影矩陣P_v和P_t，為查詢樣本和檢索樣本集中的樣本生成二進制哈希編碼；

(4)基于生成的二進制哈希編碼計算查詢樣本到檢索樣本集中各個樣本的漢明距離；

(5)使用基于近似最近鄰搜索的跨模態檢索器完成對查詢樣本的檢索；

所述步驟(1)中的基于深度學習技術設計的目標函數形式如下：

其中，γ₁和γ₂為非負平衡因子，B＝[b₁,b₂,…,b_n]^T∈{-1,+1}^n×k，和為投影矩陣，θ_v和θ_t為深度神經網絡參數，和分別為n個對象在圖像模態和文本模態的深度特征，并且矩陣F和矩陣G的第i列的向量分別為f(v_i；θ_v)和g(t_i；θ_t)，為拉普拉斯矩陣用于保持模態內一致性和模態間的一致性，1為全部元素為1的列向量，||·||_F表示矩陣的Frobenius范數，tr(·)表示矩陣的跡，(·)^T表示矩陣的轉置。