[發(fā)明專利]一種基于協(xié)同矩陣分解的跨模態(tài)檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810062484.0
• 申請(qǐng)日: 2018-01-23
• 公開（公告）號(hào): CN108334574B
• 公開（公告）日: 2020-06-12
• 發(fā)明（設(shè)計(jì)）人: 李新衛(wèi);荊曉遠(yuǎn);吳飛;孫瑩
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583;G06F16/33;G06F16/31
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 劉莎

本發(fā)明公開了一種基于協(xié)同矩陣分解的跨模態(tài)檢索方法,同時(shí)考慮保持原始空間樣本對(duì)的局部幾何流形結(jié)構(gòu)，使用圖正則項(xiàng)加入了模態(tài)內(nèi)與模態(tài)間的約束，采用普遍使用的mAP(平均準(zhǔn)確率)作為性能評(píng)價(jià)指標(biāo)。本發(fā)明不僅考慮了樣本的模態(tài)內(nèi)相似性，還考慮了樣本對(duì)模態(tài)間的相似性，為以文檢圖和以圖檢文準(zhǔn)確性提供了保障。本發(fā)明利用協(xié)同矩陣分解技術(shù)、哈希函數(shù)，同時(shí)加入了保持模態(tài)內(nèi)與模態(tài)間相似性的圖正則化項(xiàng)，提高了以文檢圖和以圖檢文的相互檢索性能，廣泛應(yīng)用于移動(dòng)設(shè)備、互聯(lián)網(wǎng)以及電子商務(wù)中的圖片文本互相檢索服務(wù)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于協(xié)同矩陣分解的跨模態(tài)檢索方法，具體涉及一種考慮保持原始空間數(shù)據(jù)的模態(tài)內(nèi)相似性和模態(tài)間相似性的圖正則化方法，屬于圖像處理技術(shù)領(lǐng)域。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，社會(huì)步入了大數(shù)據(jù)時(shí)代，大數(shù)據(jù)以圖像、文本、音頻和視頻等不同的模態(tài)表示，這些不同模態(tài)的數(shù)據(jù)并不是獨(dú)立的，它們有著本質(zhì)的聯(lián)系，如何挖掘出數(shù)據(jù)之間的關(guān)聯(lián)信息成為了人們關(guān)注的熱點(diǎn)。

跨模態(tài)檢索技術(shù)作為一種基本的相關(guān)技術(shù)，在機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺和數(shù)據(jù)挖掘等領(lǐng)域被廣泛的應(yīng)用，比如用文本檢索圖片和用圖片檢索文本。然而大數(shù)據(jù)具有數(shù)據(jù)量大、維度高以及不同模態(tài)數(shù)據(jù)間的語義鴻溝大等一系列特點(diǎn)，這使得針對(duì)大數(shù)據(jù)的跨模態(tài)檢索困難重重。為了減輕模態(tài)間的差異性，相關(guān)學(xué)者提出了一系列方法，其中一部分主要關(guān)注于潛在子空間學(xué)習(xí)，比如典型關(guān)聯(lián)分析CCA及其擴(kuò)展變形；而哈希算法作為一種近似最近鄰檢索技術(shù)，具有存儲(chǔ)量小、檢索速度快等特點(diǎn)，所以另一部分工作者主要進(jìn)行哈希算法的研究，典型方法主要有跨視圖哈希CVH、媒體間哈希IMH和語義關(guān)聯(lián)最大化的監(jiān)督多模態(tài)哈希。

然而，這些方法具有一定的局限性，檢索效果比較低，檢索的時(shí)間比較長，因此設(shè)計(jì)更好的算法是相關(guān)工作者亟需解決的難題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種基于協(xié)同矩陣分解的跨模態(tài)檢索方法，考慮了保持原始空間數(shù)據(jù)的模態(tài)內(nèi)相似性和模態(tài)間相似性。本發(fā)明不僅提高了以文檢圖的準(zhǔn)確率，還提高了以圖檢文的識(shí)別能力，同時(shí)具有檢索的速度快等優(yōu)點(diǎn)。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

本發(fā)明提供一種基于協(xié)同矩陣分解的跨模態(tài)檢索方法，包括如下步驟：

步驟1，獲取原始數(shù)據(jù)，首先對(duì)原始數(shù)據(jù)中的圖像和文本分別進(jìn)行特征提取，并對(duì)提取到的圖像特征和文本特征分別進(jìn)行歸一化處理，再將歸一化處理后的圖像特征和文本特征分別分為兩個(gè)部分，一部分圖像特征和文本特征構(gòu)成訓(xùn)練集，另一部分圖像特征和文本特征構(gòu)成測(cè)試集；

步驟2，利用訓(xùn)練集中的特征數(shù)據(jù)的類標(biāo)簽構(gòu)造圖像與圖像、文本與文本模態(tài)內(nèi)以及圖像與文本模態(tài)間相似性矩陣和拉普拉斯矩陣；

步驟3，將矩陣分解函數(shù)、哈希函數(shù)和正則化項(xiàng)合并生成整體目標(biāo)函數(shù)，整體目標(biāo)函數(shù)的表達(dá)式如下所示：

式中，i,j＝1,2，λ₁和λ₂分別表示圖像模態(tài)內(nèi)和文本模態(tài)內(nèi)的平衡系數(shù)，X₁和X₂分別表示訓(xùn)練集中圖像特征數(shù)據(jù)和文本特征數(shù)據(jù)，U₁和U₂分別表示X₁和X₂的基矩陣，V是成對(duì)的圖像和文本在低維潛在語義空間的共同表示，α為哈希函數(shù)學(xué)習(xí)時(shí)的權(quán)重系數(shù)，h(·)表示哈希函數(shù)，γ為圖正則化項(xiàng)的加權(quán)系數(shù)，tr(·)表示矩陣的跡范數(shù)，P₁和P₂分別表示X₁和X₂利用哈希函數(shù)所學(xué)習(xí)的投影矩陣，L₁₁、L₂₂分別表示圖像與圖像模態(tài)內(nèi)、文本與文本模態(tài)內(nèi)拉普拉斯矩陣，L₁₂＝L₂₁表示圖像與文本模態(tài)間的拉普拉斯矩陣，I為單位矩陣；