[發明專利]一種魯棒離散監督跨媒體哈希檢索方法

有效

• 申請號: 201910096204.2
• 申請日: 2019-01-31
• 公開（公告）號: CN109871454B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 姚濤;閆連山;呂高煥;崔光海;岳峻
• 申請（專利權）人: 魯東大學
• 主分類號: G06F16/48
• 分類號: G06F16/48;G06F16/43;G06F16/41
• 代理公司: 煙臺雙聯專利事務所(普通合伙) 37225
• 代理人: 梁翠榮

本發明公開了一種魯棒離散監督跨媒體哈希檢索方法，通過學習一個魯棒的兩兩樣本間相似度矩陣挖掘異構樣本間的語義關聯，利用該方法可實現基于內容的跨媒體檢索，該方法包括以下步驟：建立圖像和文本數據集，并對數據集中的圖像和文本樣本分別提取視覺和文本特征；利用樣本的類標簽、圖像和文本特征分別構建兩兩樣本間相似度矩陣，并利用兩兩樣本間相似度矩陣的低秩和樣本噪聲的稀疏特性學習一個魯棒的兩兩樣本間相似度矩陣；進而利用該魯棒兩兩樣本間相似度矩陣學習區分性更好的哈希碼；對哈希函數施加范數正則項約束，以學習更為魯棒的哈希函數；提出一種離散迭代優化算法，直接得到哈希碼的離散解；本發明方法的學習一個魯棒兩兩樣本間相似度矩陣可以有效的抵抗樣本中可能存在的噪聲，從而大幅提高多媒體檢索的性能。

技術領域：

本發明涉及一種魯棒離散監督跨模態哈希檢索方法,屬于多媒體檢索和機器學習領域。

背景技術：

近年來，互聯網上每天都會產生大量的數據，這給多媒體檢索任務帶來了巨大的挑戰，如何高效和有效查找近似樣本成為迫切需求。哈希方法通過學習一組哈希函數將樣本從原始特征空間映射到漢明空間，由于其在大規模應用中的計算速度快和節省存儲空間，引起了研究者的極大的關注。哈希碼比原始特征的存儲成本低得多，同時通過漢明空間中利用XOR運算可以快速地計算樣本之間的相似度。哈希方法已經得到了廣泛的研究，但大多數研究僅關注一種模態，然而在因特網上相同語義的樣本通常可表示為多個模態，這導致不同模態之間的異構語義鴻溝。例如，圖像可以由視覺和相應的文本特征表示。另外，當用戶提交查詢樣本給搜索引擎時，用戶更喜歡搜索引擎返回多種模態的相似樣本。因此，跨媒體檢索引起了越來越多的關注。跨媒體哈希方法的目標是將異構樣本映射到一個共享漢明空間，并在此空間保持樣本的相似結構。具體地，對于相似的異構樣本，在共享漢明空間中漢明距離要小，反之亦然。根據在訓練過程中是否使用類標簽，跨媒體哈希方法通常可以分為兩類：無監督和監督方法。前者通常通過保持樣本的模態內和模態間相似性來學習哈希碼，而后者可以進一步結合類標簽學習區分性更好的哈希碼。最近的工作表明，結合樣本的類標簽可以提高檢索性能。

雖然許多監督跨模態哈希方法已經提出，并取得了令人滿意的結果，然而仍有一些問題需要進一步解決。首先，在現實世界中，樣本可能含有噪音。但是，大多數監督跨模態哈希方法僅使用訓練數據的類標簽構造兩兩樣本間相似度矩陣，而沒有考慮樣本中的噪聲，例如：離群點。顯然，這些噪聲樣本會嚴重損害兩兩樣本間相似度矩陣的結構，從而誤導哈希碼的學習，導致檢索性能降低。其次，哈希碼的離散約束導致混合整數優化問題通常很難解決，大多數方法首先放松哈希碼的離散約束，得到連續解，然后量化生成哈希碼。然而，量化會導致信息丟失，使得哈希碼的區分性能降低。

發明內容：

本發明的目的在于克服上述已有技術的不足而提供一種以學習性能更好的哈希碼，提升算法的性能，以更好的抵抗噪聲，提升了哈希碼的區分能力，適用于現實網絡數據的跨媒體檢索的魯棒離散監督跨模態哈希檢索方法。

本發明的目的可以提供如下措施來達到：一種魯棒離散監督跨模態哈希檢索方法，其特征在于，該方法包括以下步驟：

第一步：搜集含有類標簽的圖像和文本樣本對，構成圖像、文本一一對應的跨模態檢索的圖文數據集；

第二步：分別對圖像和文本模態樣本提取特征，并分別對圖像和文本模態樣本的特征去均值，使兩個模態樣本的特征數據均值為0；

第三步：將數據集中的所有樣本對隨機劃分為訓練集和測試集；