[發明專利]一種基于受控語義嵌入的跨模態哈希檢索方法

有效

• 申請號: 202110140102.3
• 申請日: 2021-02-02
• 公開（公告）號: CN112948601B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 孟敏;楊榕;武繼剛
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F16/41
• 分類號: G06F16/41;G06F16/43;G06F16/48;G06F18/214
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 張金福

1.一種基于受控語義嵌入的跨模態哈希檢索方法，其特征在于，至少包括：

S1.確定待跨模態哈希檢索的帶標簽的多模態數據庫，多模態數據庫包括K種模態，表示為1，…，k，…，K，其中，k表示第k種模態的種類序次；

S2.訓練一個標簽網絡表示標簽網絡的網絡參數；

步驟S2所述訓練的標簽網絡的目標函數為表達式為：

其中，N表示數據庫中所有出現過的標簽總數，l_i、l_j均表示標簽，當標簽l_i和標簽l_j至少有一個類別相同時，S_ij＝1，否則，S_ij＝0；p(S_ij|f_i,f_j)表示似然函數，表達式為：

其中，是sigmoid函數；表示語義向量f_i與語義向量f_j的內積；采用小批量隨機梯度下降法訓練，最小化更新標簽網絡的網絡參數直至收斂；

S3.令k＝1；

S4.訓練第k種模態的受控語義嵌入網絡；

步驟S4所述訓練的第k種模態的受控語義嵌入網絡包括：

第k種模態的鑒別器第k種模態的鑒別器的網絡參數為給定第k種模態的樣本v^k后，輸出語義向量f；

第k種模態的編碼器第k種模態的編碼器的網絡參數為給定第k種模態的樣本v^k后，輸出隱變量z；

第k種模態的解碼器第k種模態的解碼器的網絡參數為給定隱變量z和語義向量f后，輸出第k種模態的樣本v^k；

其中，第k種模態的編碼器和第k種模態的解碼器組成第k種模態的條件變分自編碼生成網絡；

訓練第k種模態的受控語義嵌入網絡的步驟包括：

S41.確定第k種模態的鑒別器的目標函數表達式：

其中，p(v^k,f)表示隨機采樣第k種模態的樣本v^k和樣本匹配的標簽l^k經過標簽網絡輸出的語義向量f；p(z)表示從標準正態分布中隨機采樣隱變量z；p(f)表示隨機采樣標簽網絡輸出的語義向量f；λ_u為第一預置可調參數；表示目標函數優化的目標是網絡參數符號表示數學期望；

S42.確定第k種模態的編碼器和第k種模態的解碼器的目標函數表達式為：

其中，λ_c為第二預置可調參數；λ_reg為第三預置可調參數；λ_z為第四預置可調參數，需要根據具體情況做出調整；表示第k種模態的編碼器的輸出與標準正態分布p(z)之間的KL散度；

S43.采用小批量隨機梯度下降法不斷交替更新步驟S41和步驟S42，最小化和更新第k種模態的受控語義嵌入網絡的網絡參數直至和收斂；

S5.判斷k是否小于K，若是，令k的值增加1，返回執行步驟S4；否則，執行步驟S6；

S6.根據多模態數據庫所有樣本對應的標簽，通過標簽網絡映射成語義向量f，再通過量化方法成二進制編碼B；

步驟S6所述的量化方法的目標函數表示為表達式為：

s.t.||B_mi||₀＝1,B_mi∈{0,1}^D,i＝{1,...,N},m＝{1,...,M}.

其中，s.t.表示約束條件；

C＝[C₁,...,C_D],C_m＝[C_m1,...,C_mD],表示字典矩陣；

B＝[B₁,...,B_M],B_i＝[B_1i,...,B_Mi],||B_mi||₀＝1,B_mi∈{0,1}^D,表示二進制編碼；M和D同時決定了字典的大小和二進制編碼的長度，||B_mi||₀＝1表示約束向量B_mi的0范數等于1，B_mi∈{0,1}^D表示約束向量B_mi為二進制；

S7.執行查詢階段，跨模態哈希檢索多模態數據庫：對于不帶標簽的查詢樣本，確認查詢樣本所屬的模態種類通過第種模態的受控語義嵌入網絡映射成語義向量f，采用非對稱量化距離作為相似性度量，計算查詢樣本的語義向量f和數據庫所有樣本的二進制編碼B的非對稱量化距離，按照從大到小排序返回檢索結果。