[發明專利]基于哈希編碼的跨模態數據檢索方法、系統、設備及介質

有效

• 申請號: 202110075555.2
• 申請日: 2021-01-20
• 公開（公告）號: CN112925962B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 康琦;鄧麒;潘樂
• 申請（專利權）人: 同濟大學
• 主分類號: G06F16/9032
• 分類號: G06F16/9032;G06K9/62;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 徐秋平

本發明提供一種基于哈希編碼的跨模態數據檢索方法、系統、設備及介質，包括獲取訓練數據集，獲取樣本內的模態數據，采用符號函數對所述樣本內的原始模態數據進行映射，構建目標函數，并迭代更新求解所述哈希投影矩陣，通過迭代更新求解后的所述哈希投影矩陣來計算測試數據集對應所述訓練數據集的哈希編碼，進而找出漢明距離最近的模態數據，作為所述跨模態數據檢索的檢索結果。本發明的基于哈希編碼的跨模態數據檢索方法、系統、設備及介質，以錨點間的融合相似度進行模態間的融合，并構建了模態內相似度保持項，解決了計算鄰域點群相似度帶來的高時間復雜度的弊端以及模態內相似度考慮缺失的問題，提高跨模態的檢索效果和檢索效率。

技術領域

本發明涉及跨模態數據檢索技術領域，特別是涉及一種基于哈希編碼的跨模態數據檢索方法、系統、設備及介質。

背景技術

跨模態檢索是多模態數據融合中的一個常見且極具挑戰性的問題，旨在搭建橋梁以跨越各模態間的語義鴻溝，實現不同模態中語義相同或相似的實例的匹配，無論從準確率還是從檢索速度來評判，目前可用的跨模態檢索技術與實際應用需求仍有差距，值得深入研究。

近年來，有學者將深度神經網絡與哈希算法進行了結合以優化漢明空間中模態間數據匹配檢索機制，深度跨模態哈希算法(Deep cross-modal hashing,DCMH)使用負對數似然函數來保持模態間的相似度，搭建了一個端到端的跨模態學習框架；自監督對抗哈希(Self-Supervised Adversarial Hashing,SSAH)利用自監督語義生成網絡(LabNet)從多標簽標注中學習語義特征，分別搭建兩個用于圖像和文本的對抗網絡(ImgNet和TexNet)，在公共的語義空間中將模態特定的特征聯系起來，把語義特征和模態特定的特征同時輸入兩個判別網絡，使得兩個模態的特征分布在相同語義特征的監督下，最終趨于一致，跨模態漢明哈希(Cross-Modal Hamming Hashing,CMHH)基于深度學習，設計了指數分布的成對焦點損失函數(pairwise focal loss)，懲罰漢明距離超過漢明閾值半徑以提升檢索效率，取得了很好的效果。

基于深度學習的跨模態檢索的訓練時間較長，而基于淺模型的跨模態檢索訓練時間往往較短，因此在檢索效率上有一定的優勢，相較于利用了實例標簽信息的跨模態哈希算法而言，無監督跨模態哈希算法的設計難度更大，但應用場景也更廣泛，融合相似度哈希算法是近年來檢索效果最優秀的淺模型無監督跨模態哈希算法之一，但是，此算法引入了鄰域點群相似度捕捉單模態中數據的分布特征，時間復雜度很高，導致在訓練樣本量巨大的情況下，該算法會消耗大量的時間進行點群相似度的計算；同時，該算法的設計沒有考慮單模態原始數據與其對應哈希編碼的一致性，在一定程度上會對最優哈希編碼的學習造成影響

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種基于哈希編碼的跨模態數據檢索方法、系統、設備及介質，用于解決現有技術中存在的不足。

為實現上述目的及其他相關目的，本發明提供一種基于哈希編碼的跨模態數據檢索方法，所述方法包括獲取訓練數據集O_tr＝{o₁,o₂,…,o_n}∈R^n×d，包含n個樣本，每個所述樣本對應的模態數目為m，d＝d₁+d₂+.....+d_m，所述訓練集O_tr中第i個樣本其中，m、n均為正整數，且m≥2，d_m為第m個模態所述樣本的特征點數量，為第i個樣本中第m個模態的特征向量；采用符號函數sgn(·)對所述樣本內的原始模態數據進行映射，即以獲得二值哈希編碼B，其中，W為哈希投影矩陣，k代表每個所述哈希編碼，r為所述哈希編碼長度；構建FCCH目標函數，得到如下公式，并迭代更新求解所述哈希投影矩陣W：