[發明專利]一種基于半監督多模態哈希編碼的跨模態檢索方法

有效

• 申請號: 201911295770.2
• 申請日: 2019-12-16
• 公開（公告）號: CN111143625B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 田大湧;周德云;魏儀文;侍佼;雷雨
• 申請（專利權）人: 西北工業大學
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/903
• 代理公司: 西安嘉思特知識產權代理事務所(普通合伙) 61230
• 代理人: 劉長春

本發明公開了一種基于半監督多模態哈希編碼的跨模態檢索方法，包括：對原始圖像數據進行預處理，獲得所述原始圖像數據的實數矩陣向量；根據所述實數向量獲取輔助變量；根據所述輔助變量估計所述原始圖像數據中無標記數據的標記矩陣；根據原始圖像數據中有標記數據的標記矩陣和已估計的無標記數據的標記矩陣生成哈希編碼矩陣。該半監督多模態哈希編碼方法調整了哈希編碼過程中，原始圖像數據中已有真實標記與估計標記的權重，并且采用了非線性模型，能夠有效地利用有限的標記信息提高數據的檢索精度。

技術領域

本發明屬于跨模態檢索技術領域，具體涉及一種基于半監督多模態哈希編碼的跨模態檢索方法。

背景技術

哈希編碼是一種將實數向量表示為二進制數向量的方法，用二進制數向量的檢索替代對實數向量的檢索能夠減少計算量。多模態數據是指不同類型的實數向量，例如用于表示圖像的SIFT(Scale-invariant?feature?transform，尺度不變特征變換)特征的是一個128維的實數向量，用于表示文字的LDA(Latent?Dirichlet?Allocation，文檔主題生成模型)特征是一個10維的實數向量，這兩組實數向量就是兩種不同模態的數據。

多模態哈希編碼是將多組成對實數向量用同一組二進制數向量表示，從而實現跨模態的檢索。例如從社交網絡上抓取的圖像及其文字標簽信息就是成對的，通過多模態哈希編碼，可以實現用文字標簽檢索圖像，或者用圖像檢索文字標簽。半監督，是指數據中只有一部分是有標記的。半監督多模態哈希編碼，是指利用部分標記來提高多模態數據哈希編碼效果的方法。

目前，具有代表性半監督多模態哈希編碼方法包括S3FH方法(J.Wang,G.Li,P.Pan,and?X.Zhao,“Semi-supervised?semantic?factor-ization?hashing?for?fastcross-modal?retrieval,”Multimedia?Tools?Appl.,vol.76,no.19,pp.20197–20215,Oct.2017)和SSMH方法(D.Tian,D.Zhou,M.Gong?and?Y.Wei,“Interval?type-2fuzzylogic?for?semisupervisedmultimodal?hashing”,IEEE?Transactions?on?Cybernetics,in?press)。S3FH方法采用的是一種基于圖的哈希編碼方法，它同時為有標記和無標記的數據生成新的標記，由于生成的新標記在準確度上不如真實的標記，因此S3FH方法效果有所限制。而SSMH采用二類模糊邏輯，表示不同模態新生成的標記之間的關系，但是它采用的是線性模型，因此無法處理非線性的數據結構。

發明內容

為了解決現有技術中存在的上述問題，本發明提供了一種基于半監督多模態哈希編碼的跨模態檢索方法。本發明要解決的技術問題通過以下技術方案實現：

本發明提供了一種基于半監督多模態哈希編碼的跨模態檢索方法，包括：

S1：對原始圖像數據進行預處理，獲得所述原始圖像數據的實數矩陣向量；

S2：根據所述實數向量獲取輔助變量；

S3：根據所述輔助變量估計所述原始圖像數據中無標記數據的標記矩陣；

S4：根據原始圖像數據中有標記數據的標記矩陣和已估計的無標記數據的標記矩陣生成哈希編碼矩陣；

S5：根據所述哈希編碼矩陣進行數據檢索，搜索檢索數據庫中與目標向量距離最近的向量。

在本發明的一個實施例中，所述S1包括：