[發(fā)明專利]一種面向圖文樣本的高效監(jiān)督圖嵌入跨媒體哈希檢索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010943065.5
• 申請(qǐng)日: 2020-09-09
• 公開(kāi)（公告）號(hào): CN112214623A
• 公開(kāi)（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 姚濤;劉莉;閆連山;賀文偉;崔光海
• 申請(qǐng)（專利權(quán)）人: 魯東大學(xué);煙臺(tái)艾迪恩信息科技有限公司
• 主分類號(hào): G06F16/55
• 分類號(hào): G06F16/55;G06F16/53;G06F16/41;G06F16/35;G06F16/33;G06F16/31;G06F40/30;G06K9/62;G06N3/08
• 代理公司: 煙臺(tái)雙聯(lián)專利事務(wù)所(普通合伙) 37225
• 代理人: 矯智蘭

本發(fā)明涉及多媒體技術(shù)領(lǐng)域，具體為一種面向圖文樣本的高效監(jiān)督圖嵌入跨媒體哈希檢索方法，該方法包括以下步驟：構(gòu)建圖文樣對(duì)本集，標(biāo)注樣本對(duì)的語(yǔ)義類別；提取樣本集中圖像和文本樣本的特征，利用徑向基高斯核函數(shù)將特征映射到非線性空間；利用樣本對(duì)的類別標(biāo)簽構(gòu)建樣本對(duì)的圖鄰接矩陣，得到Laplace矩陣；利用線性映射將類別標(biāo)簽映射到潛在語(yǔ)義空間，并保持圖像和文本樣本的模態(tài)間和模態(tài)內(nèi)的語(yǔ)義相似性為圖像和文本模態(tài)分別學(xué)習(xí)線性映射矩陣；學(xué)習(xí)正交旋轉(zhuǎn)矩陣最小化量化誤差；提出離散迭代優(yōu)化算法，得到哈希碼的離散解；本發(fā)明利用保持圖像和文本樣本的模態(tài)內(nèi)、模態(tài)間語(yǔ)義相似性、基于類別標(biāo)簽的相似性和最小化量化誤差學(xué)習(xí)哈希碼，提升算法檢索性能。

技術(shù)領(lǐng)域

本發(fā)明涉及多媒體技術(shù)領(lǐng)域，具體為一種面向圖文樣本的高效監(jiān)督圖嵌入跨媒體哈希檢索方法。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)和便攜式移動(dòng)設(shè)備的快速發(fā)展，越來(lái)越多的人習(xí)慣于通過(guò)網(wǎng)絡(luò)分享生活中的點(diǎn)滴，例如某人過(guò)生日的時(shí)候，通過(guò)微信、臉譜等社交軟件發(fā)布生日照片（圖像）并描述自己的心情（文本）等，使得網(wǎng)絡(luò)上的數(shù)據(jù)爆炸式增長(zhǎng)，用戶如何在海量數(shù)據(jù)中查找所需的信息成為一個(gè)挑戰(zhàn)。一方面，網(wǎng)絡(luò)上數(shù)據(jù)量大，而且樣本特征的維度通常非常高，甚至可達(dá)上萬(wàn)維。傳統(tǒng)的檢索方法需要計(jì)算查詢樣本與所有待檢索樣本的距離，例如歐式距離、余弦距離等，這會(huì)造成過(guò)高的計(jì)算復(fù)雜度和內(nèi)存開(kāi)銷。另一方面，網(wǎng)絡(luò)上數(shù)據(jù)的模態(tài)多，而且各模態(tài)表示異構(gòu)，如何衡量異構(gòu)樣本的相似度成為一個(gè)挑戰(zhàn)。跨媒體哈希方法可以很好地解決上面兩個(gè)問(wèn)題。監(jiān)督跨媒體哈希方法，可以利用含有高層語(yǔ)義的類別標(biāo)簽學(xué)習(xí)哈希碼，提升了哈希碼的區(qū)分能力，取得了令人滿意的檢索性能。但大部分方法存在以下問(wèn)題，需要更進(jìn)一步解決：1）大多數(shù)方法不能充分利用類別標(biāo)簽提升哈希碼的性能，現(xiàn)有方法主要通過(guò)保持基于兩兩相似矩陣的相似度學(xué)習(xí)哈希碼，然而兩兩相似矩陣不僅會(huì)造成類別信息的丟失，而且會(huì)導(dǎo)致較高的計(jì)算復(fù)雜度和內(nèi)存開(kāi)銷；2）大部分現(xiàn)有的離散哈希方法在優(yōu)化過(guò)程中對(duì)哈希碼矩陣進(jìn)行逐位求解，會(huì)導(dǎo)致較高的計(jì)算復(fù)雜度。本發(fā)明提出一種面向圖文樣本的監(jiān)督圖嵌入的高效哈希檢索方法，可以有效的解決上面的問(wèn)題。首先為了更好保持樣本的語(yǔ)義相似性，本發(fā)明提出同時(shí)保持樣本的模態(tài)間、模態(tài)內(nèi)的語(yǔ)義相似性和基于類別標(biāo)簽的相似性，學(xué)習(xí)哈希碼和線性映射矩陣，并學(xué)習(xí)一個(gè)正交旋轉(zhuǎn)矩陣減少量化誤差，進(jìn)一步提升哈希碼的區(qū)分能力。然后，提出一種迭代優(yōu)化算法，不僅可直接得到樣本的哈希碼閉合的離散解，而且降低了算法的計(jì)算復(fù)雜度。

發(fā)明內(nèi)容

本發(fā)明的目的是克服現(xiàn)有技術(shù)缺陷，提供了一種面向圖文樣本的高效監(jiān)督圖嵌入跨媒體哈希檢索方法，其特征在于其利用計(jì)算機(jī)裝置實(shí)現(xiàn)如下步驟：

步驟1、從網(wǎng)絡(luò)收集圖像和文本樣本，并將屬于同一網(wǎng)頁(yè)的圖像和文本樣本作為圖文樣本對(duì)構(gòu)成圖文樣本集，標(biāo)注圖文樣本對(duì)的類別，并將圖文樣本對(duì)劃分為訓(xùn)練集和測(cè)試集；

步驟2、提取訓(xùn)練集和測(cè)試集中所有圖像和文本樣本的特征，并對(duì)特征進(jìn)行歸一化和去均值；

步驟3、訓(xùn)練集中的圖文樣本對(duì)的特征用表示，其中，分別為訓(xùn)練集中所有圖像樣本、文本樣本的特征，，表示實(shí)數(shù)，表示特征的維度，表示訓(xùn)練集中圖文樣本對(duì)的數(shù)量，表示樣本對(duì)的類別標(biāo)簽，其中表示總類別的數(shù)量，表示圖文樣本對(duì)的數(shù)量；隨機(jī)選擇個(gè)樣本對(duì)作為錨點(diǎn)，其中，，利用高斯徑向基函數(shù)將所有圖像樣本、文本樣本的特征映射到非線性空間：

其中為尺度參數(shù)，表示范數(shù)，表示矩陣或向量的轉(zhuǎn)置；

步驟4、利用圖文樣本對(duì)的類別標(biāo)簽構(gòu)造樣本對(duì)的圖鄰接矩陣，表示實(shí)數(shù)，其定義如下：

其中，表示矩陣的第行第列的數(shù)值，表示范數(shù)；

步驟5、進(jìn)一步得到圖鄰接矩陣的Laplace矩陣，其中是 的對(duì)角陣，其對(duì)角元素；

步驟6、基于上述步驟1-步驟5的變量，利用保持樣本特征的模態(tài)間、模態(tài)內(nèi)語(yǔ)義相似性和最小化量化誤差構(gòu)造本方法的目標(biāo)函數(shù)，其定義如下：