[發(fā)明專利]一種深度跨模態(tài)哈希檢索方法、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010028018.8
• 申請(qǐng)日: 2020-01-10
• 公開(kāi)（公告）號(hào): CN111241310A
• 公開(kāi)（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 姚洪磊;李銳;金長(zhǎng)新
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南浪潮高新科技投資發(fā)展有限公司
• 主分類號(hào): G06F16/432
• 分類號(hào): G06F16/432;G06F16/41;G06N3/04;G06N3/08
• 代理公司: 北京君慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11716
• 代理人: 董延麗

本申請(qǐng)公開(kāi)了一種深度跨模態(tài)哈希檢索方法、設(shè)備及介質(zhì)，方法包括：獲取通過(guò)多個(gè)訓(xùn)練樣本以及長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)LSTM預(yù)先生成的哈希檢索模型；通過(guò)哈希檢索模型生成并存儲(chǔ)，不同模態(tài)的各檢索信息對(duì)應(yīng)的哈希碼；在接收包含有待檢索目標(biāo)的檢索請(qǐng)求時(shí)，通過(guò)哈希檢索模型輸出待檢索目標(biāo)的哈希碼；根據(jù)檢索目標(biāo)的哈希碼，在存儲(chǔ)的包含與檢索目標(biāo)不同模態(tài)的多個(gè)檢索信息中，確定檢索結(jié)果。通過(guò)長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)LSTM來(lái)訓(xùn)練生成哈希檢索模型，使得哈希檢索模型在針對(duì)具有豐富內(nèi)容信息時(shí)，能夠有效考慮內(nèi)容之間的關(guān)聯(lián)性，提高了生成的哈希碼的質(zhì)量，也提高了最終檢索的精確度，提升了用戶體驗(yàn)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及檢索領(lǐng)域，具體涉及一種深度跨模態(tài)哈希檢索方法、設(shè)備及介質(zhì)。

背景技術(shù)

近年來(lái)，隨著互聯(lián)網(wǎng)的快速發(fā)展，多媒體數(shù)據(jù)(例如圖片、文本、視頻、音頻等)呈現(xiàn)出爆炸式的增長(zhǎng)。跨模態(tài)檢索技術(shù)旨在根據(jù)已有的數(shù)據(jù)檢索與之相匹配的不同模態(tài)的數(shù)據(jù)，例如我們可以通過(guò)文本信息在數(shù)據(jù)庫(kù)中查找符合文字描述的圖片信息。并且由于哈希碼具有存儲(chǔ)代價(jià)小，檢索速度快等諸多優(yōu)勢(shì)，所以哈希方法也被廣泛應(yīng)用在跨模態(tài)檢索任務(wù)中。

人們?cè)谶M(jìn)行跨模態(tài)檢索時(shí)，為了使描述更加準(zhǔn)確，可能會(huì)采用相對(duì)更加豐富的內(nèi)容進(jìn)行查詢。例如，在使用文本進(jìn)行跨模態(tài)檢索時(shí)，可能會(huì)使用一句話或者一段文字作為內(nèi)容進(jìn)行描述。但是在現(xiàn)有技術(shù)中，哈希檢索模型往往會(huì)忽略這個(gè)問(wèn)題，將內(nèi)容割裂開(kāi)分別進(jìn)行檢索，不去考慮相互之間的關(guān)聯(lián)，這也就降低了使得檢索結(jié)果的準(zhǔn)確性。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本申請(qǐng)?zhí)岢隽艘环N深度跨模態(tài)哈希檢索方法，包括：獲取通過(guò)多個(gè)訓(xùn)練樣本以及長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)LSTM預(yù)先生成的哈希檢索模型，其中，所述訓(xùn)練樣本包括多種模態(tài)；通過(guò)所述哈希檢索模型生成并存儲(chǔ)，不同模態(tài)的各檢索信息對(duì)應(yīng)的哈希碼；在接收包含有待檢索目標(biāo)的檢索請(qǐng)求時(shí)，通過(guò)所述哈希檢索模型輸出所述待檢索目標(biāo)的哈希碼；根據(jù)所述檢索目標(biāo)的哈希碼，在存儲(chǔ)的包含與所述檢索目標(biāo)不同模態(tài)的多個(gè)所述檢索信息中，確定檢索結(jié)果。

在一個(gè)示例中，訓(xùn)練生成所述哈希檢索模型時(shí)，所述方法還包括：在所述多個(gè)訓(xùn)練樣本中，確定不同模態(tài)的第一樣本和第二樣本；基于所述第一樣本與所述第二樣本分別擁有的標(biāo)簽，生成相似度矩陣；通過(guò)所述相似度矩陣訓(xùn)練生成所述哈希檢索模型。

在一個(gè)示例中，訓(xùn)練生成所述哈希檢索模型時(shí)，所述方法還包括：通過(guò)不包含全連接層的卷積神經(jīng)網(wǎng)絡(luò)提取模態(tài)為圖片的訓(xùn)練樣本的第一圖像特征；和/或獲取模態(tài)為文本的訓(xùn)練樣本的文本向量，通過(guò)所述文本向量以及詞嵌入提取模態(tài)為文本的訓(xùn)練樣本的第一文本特征。

在一個(gè)示例中，訓(xùn)練生成所述哈希檢索模型時(shí)，所述方法還包括：將所述第一圖像特征和/或所述第一文本特征輸入至所述LSTM，得到第二圖像特征和/或第二文本特征；通過(guò)所述第二圖像特征和/或所述第二文本特征生成，模態(tài)為圖像和/或文本的所述訓(xùn)練樣本對(duì)應(yīng)的哈希碼。

在一個(gè)示例中，訓(xùn)練生成所述哈希檢索模型時(shí)，所述方法還包括：通過(guò)損失函數(shù)對(duì)所述哈希檢索模型進(jìn)行優(yōu)化，其中，設(shè)所述損失函數(shù)為L(zhǎng)，則Fi為第二圖像特征，F(xiàn)j為第二文本特征，L2為量化損失，L₃為平衡損失。

在一個(gè)示例中，根據(jù)所述檢索目標(biāo)的哈希碼，在存儲(chǔ)的包含與所述檢索目標(biāo)不同模態(tài)的多個(gè)所述檢索信息中，確定檢索結(jié)果，包括：在存儲(chǔ)的包含與所述檢索目標(biāo)不同模態(tài)的多個(gè)所述檢索信息中，按照所述檢索信息的哈希碼與所述檢索目標(biāo)的哈希碼之間的接近程度，從高到低的選取若干個(gè)檢索信息作為檢索結(jié)果。

在一個(gè)示例中，所述接近程度通過(guò)海明距離確定。

在一個(gè)示例中，所述訓(xùn)練樣本包括模態(tài)為文本的語(yǔ)句。