[發(fā)明專利]一種基于對(duì)應(yīng)的深層信念網(wǎng)絡(luò)的跨模態(tài)檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410797791.5
• 申請(qǐng)日: 2014-12-18
• 公開（公告）號(hào): CN104462485B
• 公開（公告）日: 2017-12-05
• 發(fā)明（設(shè)計(jì)）人: 李睿凡;蘆效峰;魯鵬;馮方向;李蕾;劉詠彬;王小捷
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司11018
• 代理人: 謝安昆,宋志強(qiáng)

技術(shù)領(lǐng)域

本發(fā)明涉及多媒體檢索技術(shù),特別是一種基于對(duì)應(yīng)的深層信念網(wǎng)絡(luò)的跨模態(tài)檢索方法。

背景技術(shù)

近些年互聯(lián)網(wǎng)的發(fā)展使得多模態(tài)的數(shù)據(jù)呈現(xiàn)爆炸式增長。例如，電子商務(wù)網(wǎng)站上的產(chǎn)品通常包含主干文字、簡短的文本描述、以及相關(guān)的圖片；社交網(wǎng)站上分享的圖片通常伴有標(biāo)記的描述詞；一些在線新聞上包含的圖片和視頻信息比單純的文字報(bào)道更具有吸引力，多模態(tài)數(shù)據(jù)的快速增長帶來了巨大的跨模態(tài)檢索需求。

與傳統(tǒng)的單模態(tài)檢索不同，跨模態(tài)檢索更多關(guān)注不同模態(tài)間的關(guān)系。因此，跨模態(tài)檢索問題包含兩個(gè)挑戰(zhàn)問題：一是來自不同模態(tài)的數(shù)據(jù)具有完全不同的統(tǒng)計(jì)特性，這使得很難直接獲得不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)關(guān)系；二是從不同模態(tài)數(shù)據(jù)中抽取的特征通常具有高維的特性并且數(shù)據(jù)集的規(guī)模非常大，這使得高效的檢索不容易實(shí)現(xiàn)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種基于對(duì)應(yīng)的深層信念網(wǎng)絡(luò)(Correspondence Deep Belief Network，Corr-DBN)的跨模態(tài)檢索方法，應(yīng)用Corr-DBN解決跨模態(tài)數(shù)據(jù)的處理問題，使得經(jīng)Corr-DBN處理后的跨模態(tài)數(shù)據(jù)能夠高效的進(jìn)行距離計(jì)算，從而得到較優(yōu)的檢索結(jié)果。本發(fā)明提出的技術(shù)方案是：

一種基于Corr-DBN的跨模態(tài)檢索方法，該方法包括：

利用特征提取方法分別獲得檢索目標(biāo)與檢索庫中每一個(gè)檢索成員的初級(jí)向量；

將所述檢索目標(biāo)和所述檢索庫中每一個(gè)檢索成員分別作為第一模態(tài)和第二模態(tài)，將所述檢索目標(biāo)的初級(jí)向量分別與該檢索成員的初級(jí)向量作為一個(gè)組合，通過對(duì)應(yīng)的深層信念網(wǎng)絡(luò)Corr-DBN對(duì)組合中的所述檢索目標(biāo)的初級(jí)向量和該檢索成員的初級(jí)向量進(jìn)行處理，獲得所述檢索目標(biāo)的高級(jí)向量和該檢索成員的高級(jí)向量；

利用所述檢索目標(biāo)的高級(jí)向量和所述檢索庫中每一個(gè)檢索成員的高級(jí)向量計(jì)算所述檢索目標(biāo)與所述檢索庫中每一個(gè)檢索成員的距離；

將所述檢索庫中與所述檢索目標(biāo)距離最近的至少一個(gè)檢索成員確定為與所述檢索目標(biāo)匹配的對(duì)象。

綜上所述，本發(fā)明技術(shù)方案提出了一種基于對(duì)應(yīng)的深層信念網(wǎng)絡(luò)的跨模態(tài)檢索方法，對(duì)于跨模態(tài)原始數(shù)據(jù)進(jìn)行特征提取獲得的初級(jí)向量，通過對(duì)應(yīng)的深層信念網(wǎng)絡(luò)Corr-DBN的處理，得到跨模態(tài)數(shù)據(jù)在相同表示空間中的低維高級(jí)向量，進(jìn)而對(duì)跨模態(tài)數(shù)據(jù)的低維高級(jí)向量進(jìn)行距離計(jì)算，根據(jù)距離確定檢索結(jié)果。

附圖說明

圖1為本發(fā)明技術(shù)方案的流程圖；

圖2為本發(fā)明Corr-DBN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖3為本發(fā)明雙受限波爾茲曼機(jī)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖4為受限波爾茲曼機(jī)模型的結(jié)構(gòu)圖；

圖5為對(duì)應(yīng)的受限波爾茲曼機(jī)模型的結(jié)構(gòu)圖；

圖6為根據(jù)目標(biāo)函數(shù)Q確定Θ的方法流程圖；

圖7為本發(fā)明實(shí)施例的流程圖。

具體實(shí)施方式

為解決跨模態(tài)間的檢索問題，本發(fā)明提出一種基于對(duì)應(yīng)的深層信念網(wǎng)絡(luò)Corr-DBN的跨模態(tài)檢索方法，本發(fā)明技術(shù)方案的流程圖如圖1所示，包括以下步驟：

步驟101：利用特征提取方法分別獲得檢索目標(biāo)與檢索庫中每一個(gè)檢索成員的初級(jí)向量。

本步驟中，為在檢索庫中檢索與檢索目標(biāo)匹配的對(duì)象，首先需要對(duì)檢索目標(biāo)和檢索庫中每一檢索成員進(jìn)行初級(jí)向量的獲取，而特征提取方法獲得的初級(jí)向量一般維數(shù)較高，且不同模態(tài)的初級(jí)向量元素各異，一般不能直接用于檢索運(yùn)算。

步驟102：檢索目標(biāo)的初級(jí)向量分別與檢索庫中每一個(gè)檢索成員的初級(jí)向量，通過對(duì)應(yīng)的深層信念網(wǎng)絡(luò)Corr-DBN獲得檢索目標(biāo)的高級(jí)向量和檢索庫中每一個(gè)檢索成員的高級(jí)向量。

本步驟中，將檢索目標(biāo)的初級(jí)向量分別與檢索庫中每一個(gè)檢索成員的初級(jí)向量作為一個(gè)組合，通過對(duì)應(yīng)的深層信念網(wǎng)絡(luò)Corr-DBN獲得檢索目標(biāo)的高級(jí)向量和檢索庫中每一個(gè)檢索成員的高級(jí)向量。通過對(duì)應(yīng)的深層信念網(wǎng)絡(luò)Corr-DBN得到的檢索目標(biāo)的高級(jí)向量和檢索庫中每一個(gè)檢索成員的高級(jí)向量具有低維、空間元素一致等特點(diǎn)，能夠高效的直接進(jìn)行檢索運(yùn)算。

具體地，可以將檢索目標(biāo)作為第一模態(tài)，將任一個(gè)檢索成員作為第二模態(tài)，Corr-DBN通過處理第一模態(tài)與第二模態(tài)的初級(jí)向量，最終輸出第一模態(tài)與第二模態(tài)的高級(jí)向量。

步驟103：利用檢索目標(biāo)的高級(jí)向量和檢索庫中每一個(gè)檢索成員的高級(jí)向量計(jì)算檢索目標(biāo)與檢索庫中任一檢索成員的距離。

具體地，可以用歐氏距離表示檢索目標(biāo)與檢索庫中每一個(gè)檢索成員的距離。