[發明專利]一種基于深度學習的跨模態哈希檢索方法

有效

• 申請號: 201910196009.7
• 申請日: 2019-03-14
• 公開（公告）號: CN110019652B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 董西偉;鄧安遠;周軍;楊茂保;孫麗;胡芳;賈海英;王海霞
• 申請（專利權）人: 九江學院
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/51
• 代理公司: 湖北創融藍圖知識產權代理事務所(特殊普通合伙) 42276
• 代理人: 羊淑梅

一種基于深度學習的跨模態哈希檢索方法，假設個對象的圖像模態的像素特征向量集為，其特征是該方法包括以下步驟：（1）使用基于深度學習技術設計的目標函數得到圖像模態和文本模態共享的二進制哈希編碼，圖像模態和文本模態的深度神經網絡參數和，以及圖像模態和文本模態的投影矩陣和；（2）使用交替更新的方式求解目標函數中的未知變量、、、和；（3）基于求解得到的圖像模態和文本模態的深度神經網絡參數和，以及投影矩陣和；（4）基于生成的二進制哈希編碼計算查詢樣本到檢索樣本集中各個樣本的漢明距離；（5）使用基于近似最近鄰搜索的跨模態檢索器完成對查詢樣本的檢索。該方法有效地提升了跨模態哈希檢索的性能。

技術領域

本發明涉及一種基于深度學習的跨模態哈希檢索方法。

背景技術

伴隨著科學技術和社會生產力的快速發展，大數據時代悄然而至。所謂大數據是指在一定的時間范圍內無法使用常規的軟件工具進行捕捉、管理和處理的數據集合。IBM提出大數據具有5V特點，即：Volume(數據量大)、Variety(種類和來源多樣化)、Value(數據價值密度相對較低，而有時卻又彌足珍貴)、Velocity(數據增長速度快)、Veracity(數據的質量)。大數據也可以認為是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的信息資產。

信息檢索是數據處理的一個重要方面，而面對大數據，如何有效地進行信息檢索成為大數據時代亟待解決并且非常具有挑戰性的問題。對于大規模數據檢索，哈希檢索方法扮演著重要的角色。哈希檢索方法將對象的高維特征映射到漢明空間中，生成一個低維的哈希編碼來表示一個對象，它降低了檢索系統對計算機內存空間的要求，提高了檢索速度，能更好地適應海量檢索的要求。哈希檢索的主要思想是把高維向量表示的數據投影到漢明空間，在漢明空間中進行K近鄰(K≥1)的檢索。為了使漢明空間中的K近鄰與原始空間保持一致，哈希學習算法需要滿足局部保持特性，即，保持數據投影前后的相似性。局部敏感哈希(Locality Sensitive Hashing，LSH)方法可以使高維空間中距離很近的兩點，在經過哈希函數對這兩點進行哈希編碼后，它們的哈希編碼有很大的概率是一樣的，反之，若兩點之間的距離較遠，則它們的哈希編碼相同的概率會很小。

跨模態哈希檢索主要用于解決不同模態數據之間的相互檢索問題，例如，用圖像檢索文本、或者用文本檢索圖像等。跨模態哈希檢索方法需要對不同模態的數據進行哈希編碼，生成緊湊的二進制哈希編碼，然后基于生成的哈希編碼完成不同模態數據之間的相互檢索。Ding等人提出了集體矩陣分解哈希(Collective Matrix FactorizationHashing，CMFH)方法。CMFH方法可以利用集體矩陣分解從每個實例的不同模態學習統一的哈希編碼。為了在基于矩陣分解的跨模態哈希方法中有效地使用類別信息并保持局部幾何結構，進而達到有效提升由矩陣分解得到的潛在語義特征鑒別能力的目的，Tang等人提出了有監督矩陣分解哈希(Supervised Matrix Factorization Hashing，SMFH)方法。SMFH方法在進行哈希編碼學習時，不僅考慮模態之間標記信息的一致性，還考慮模態內部局部幾何結構的一致性。針對不少有監督跨模態哈希方法訓練時間復雜度過高的問題，Zhang等人提出了稱為語義相關性最大化(Semantic Correlation Maximization，SCM)的有監督跨模態哈希方法。SCM方法可以將語義標記信息無縫地集成到哈希學習過程中。