[發(fā)明專(zhuān)利]一種基于深度融合哈希的大數(shù)據(jù)跨模態(tài)檢索方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711184981.X
• 申請(qǐng)日: 2017-11-23
• 公開(kāi)（公告）號(hào): CN107871014A
• 公開(kāi)（公告）日: 2018-04-03
• 發(fā)明（設(shè)計(jì)）人: 王建民;龍明盛;曹越;劉斌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司11002
• 代理人: 王瑩,吳歡燕

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)數(shù)據(jù)管理技術(shù)領(lǐng)域，更具體地，涉及一種基于深度融合哈希的大數(shù)據(jù)跨模態(tài)檢索方法及系統(tǒng)。

背景技術(shù)

隨著信息技術(shù)的飛速發(fā)展，搜索引擎和社交網(wǎng)絡(luò)中高維度多媒體數(shù)據(jù)不斷增加，如何在這些海量的高維度大數(shù)據(jù)中進(jìn)行高效的跨模態(tài)近似最近鄰搜索成為一個(gè)重要且迫切的問(wèn)題。跨模態(tài)檢索即使用一種模態(tài)的數(shù)據(jù)作為查詢(xún)條件，返回另一種模態(tài)的相關(guān)結(jié)果，例如用語(yǔ)句檢索圖像或用圖像檢索語(yǔ)句。高效跨模態(tài)近似最近鄰搜索的一個(gè)有力的解決方案是哈希方法(Hashing)，它將高維數(shù)據(jù)壓縮成緊湊的二進(jìn)制碼，因而大大提高其存儲(chǔ)效率和檢索效率。但是，由于不同模態(tài)的異構(gòu)性，以及低級(jí)特征與高級(jí)語(yǔ)義之間的語(yǔ)義差距，高質(zhì)量和高計(jì)算效率的跨模態(tài)哈希仍然是一個(gè)巨大的挑戰(zhàn)。

在過(guò)去，研究人員曾經(jīng)提出過(guò)許多種傳統(tǒng)跨模態(tài)哈希方法，大多數(shù)方法在哈希函數(shù)學(xué)習(xí)過(guò)程中利用跨模態(tài)的共享結(jié)構(gòu)，在同構(gòu)漢明空間中壓縮跨模態(tài)數(shù)據(jù)。但是，這種基于淺層架構(gòu)的跨模態(tài)哈希方法不能有效地利用不同模態(tài)數(shù)據(jù)之間的相關(guān)關(guān)系來(lái)降低不同的模態(tài)之間的異構(gòu)性。另外，最新的基于深度學(xué)習(xí)的跨模態(tài)方法表明，深度學(xué)習(xí)方法可以比淺層學(xué)習(xí)方法更有效地捕獲不同模態(tài)之間數(shù)據(jù)的關(guān)聯(lián)關(guān)系，這些深度模型已經(jīng)成功應(yīng)用于圖像標(biāo)注和圖像檢索。

但是，這些技術(shù)并不能有效捕捉圖像的空間依賴(lài)性和語(yǔ)句的時(shí)間動(dòng)態(tài)性，也就無(wú)法學(xué)習(xí)強(qiáng)大的特征表示和跨模態(tài)嵌入，不能減輕不同模態(tài)的異構(gòu)性，因而無(wú)法生成用于跨模態(tài)檢索的高質(zhì)量、緊湊的哈希編碼，從而不能在跨模態(tài)檢索中取得較好的效果。

發(fā)明內(nèi)容

本發(fā)明提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種基于深度融合哈希的大數(shù)據(jù)跨模態(tài)檢索方法及系統(tǒng)，所述方法包括：

S1、識(shí)別待檢索數(shù)據(jù)的數(shù)據(jù)類(lèi)型，若待檢索數(shù)據(jù)的數(shù)據(jù)類(lèi)型為圖像，則將待檢索的圖像輸入到訓(xùn)練后的圖像哈希網(wǎng)絡(luò)中，獲取所述待檢索的圖像對(duì)應(yīng)的圖像二進(jìn)制碼，或

若待檢索數(shù)據(jù)的數(shù)據(jù)類(lèi)型為語(yǔ)句，則將待檢索的語(yǔ)句輸入到訓(xùn)練后的語(yǔ)句哈希網(wǎng)絡(luò)中，獲取所述待檢索的語(yǔ)句對(duì)應(yīng)的語(yǔ)句二進(jìn)制碼，其中，所述圖像哈希網(wǎng)絡(luò)和所述語(yǔ)句哈希網(wǎng)絡(luò)分別對(duì)應(yīng)預(yù)設(shè)的深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)中的圖像模態(tài)和語(yǔ)句模態(tài)，所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)用于捕獲視覺(jué)數(shù)據(jù)和自然語(yǔ)言之間的內(nèi)在交叉對(duì)應(yīng)關(guān)系；

S2、計(jì)算所述待檢索圖像對(duì)應(yīng)的圖像二進(jìn)制碼和檢索庫(kù)中每一條語(yǔ)句對(duì)應(yīng)的二進(jìn)制碼的第一漢明距離，或

計(jì)算所述待檢索語(yǔ)句對(duì)應(yīng)的語(yǔ)句二進(jìn)制碼和檢索庫(kù)中每一張圖像對(duì)應(yīng)的二進(jìn)制碼的第二漢明距離；

S3、在所述檢索庫(kù)中選取第一漢明距離最小的預(yù)設(shè)數(shù)量的語(yǔ)句作為待檢索數(shù)據(jù)的數(shù)據(jù)類(lèi)型為圖像的檢索結(jié)果，或

在所述檢索庫(kù)中選取第二漢明距離最小的預(yù)設(shè)數(shù)量的圖像作為待檢索數(shù)據(jù)的數(shù)據(jù)類(lèi)型為語(yǔ)句的檢索結(jié)果。

其中，步驟S1之前所述方法還包括：

將深度卷積神經(jīng)網(wǎng)絡(luò)CNN和深度循環(huán)神經(jīng)網(wǎng)絡(luò)RNN進(jìn)行特征融合，以構(gòu)建所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)；

基于所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)的融合模態(tài)表征，構(gòu)建所述圖像哈希網(wǎng)絡(luò)，以模擬所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)的圖像模態(tài)，并構(gòu)建所述語(yǔ)句哈希網(wǎng)絡(luò)，以模擬所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)的語(yǔ)句模態(tài)；

基于預(yù)設(shè)的損失函數(shù)，對(duì)所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)、所述圖像哈希網(wǎng)絡(luò)以及所述語(yǔ)句哈希網(wǎng)絡(luò)進(jìn)行訓(xùn)練，所述損失函數(shù)包括余弦最大間隔損失函數(shù)和逐位最大間隔損失函數(shù)。

其中，所述將深度卷積神經(jīng)網(wǎng)絡(luò)CNN和深度循環(huán)神經(jīng)網(wǎng)絡(luò)RNN進(jìn)行特征融合，以構(gòu)建所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)，具體包括：

將CNN視覺(jué)輸入的特征空間在RNN中每個(gè)時(shí)間序列對(duì)應(yīng)的長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM的第二層中映射，以使所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)在每一個(gè)時(shí)間序列都產(chǎn)生一個(gè)對(duì)應(yīng)的融合特征編碼。

其中，所述基于所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)的融合模態(tài)表征，構(gòu)建所述圖像哈希網(wǎng)絡(luò)，以模擬所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)的圖像模態(tài)，具體包括：

基于預(yù)設(shè)的平方損失函數(shù)，使得所述圖像哈希網(wǎng)絡(luò)生成的每一張圖像對(duì)應(yīng)的哈希碼均能近似于所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)生成的所述融合特征編碼中的圖像模態(tài)，并且

基于預(yù)設(shè)的平方損失函數(shù)，使得所述語(yǔ)句哈希網(wǎng)絡(luò)生成的每一條語(yǔ)句對(duì)應(yīng)的哈希碼均能近似于所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)生成的所述融合特征編碼中的語(yǔ)句模態(tài)。

其中，所述基于預(yù)設(shè)的損失函數(shù)，對(duì)所述深度視覺(jué)-語(yǔ)義融合網(wǎng)絡(luò)、所述圖像哈希網(wǎng)絡(luò)以及所述語(yǔ)句哈希網(wǎng)絡(luò)進(jìn)行訓(xùn)練，所述損失函數(shù)包括余弦最大間隔損失函數(shù)和逐位最大間隔損失函數(shù)，具體包括：