[發(fā)明專利]一種基于子空間學(xué)習(xí)與半監(jiān)督正則化的跨媒體檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810159590.0
• 申請(qǐng)日: 2018-02-26
• 公開（公告）號(hào): CN108388639B
• 公開（公告）日: 2022-02-15
• 發(fā)明（設(shè)計(jì)）人: 張鴻;代剛
• 申請(qǐng)（專利權(quán)）人: 武漢科技大學(xué)
• 主分類號(hào): G06F16/483
• 分類號(hào): G06F16/483;G06F16/48;G06F16/43
• 代理公司: 上海精晟知識(shí)產(chǎn)權(quán)代理有限公司 31253
• 代理人: 馮子玲

本發(fā)明提供一種基于子空間學(xué)習(xí)與半監(jiān)督正則化的跨媒體檢索方法，其特征在于，包括步驟：步驟一，建立多媒體數(shù)據(jù)庫，收集多媒體原始數(shù)據(jù)；提取多媒體數(shù)據(jù)的特征；保存多媒體數(shù)據(jù)的特征向量和原始數(shù)據(jù)；步驟二，獲得不同媒體類型的投影矩陣，定義最優(yōu)化目標(biāo)函數(shù)；利用迭代方法求解最優(yōu)化目標(biāo)函數(shù)；投影多媒體數(shù)據(jù)的特征向量到共同空間；步驟三，進(jìn)行跨媒體檢索，提取用戶提交的媒體數(shù)據(jù)的特征；投影該媒體數(shù)據(jù)的特征向量到共同空間中；計(jì)算該投影后的向量與共同空間中的其他向量之間的相似度；返回與之相似度最大的前k個(gè)特征向量所對(duì)應(yīng)媒體數(shù)據(jù)。本發(fā)明所提供的跨媒體檢索方法，檢索的結(jié)果更加準(zhǔn)確。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于子空間學(xué)習(xí)與半監(jiān)督正則化的跨媒體檢索方法，屬于數(shù)據(jù)檢索領(lǐng)域。

背景技術(shù)

隨著多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的高速發(fā)展，文本，圖像，音頻，視頻和3D等非結(jié)構(gòu)化異構(gòu)多媒體內(nèi)容迅速涌入互聯(lián)網(wǎng)，使得跨媒體檢索變得尤其重要。跨媒體檢索指的是不同媒體數(shù)據(jù)之間的相互檢索，這使得檢索具有豐富性和多彩性，更好地滿足用戶希望提交任意一種媒體數(shù)據(jù)來檢索出具有相同語義的各種類型(相同類型或不同類型)媒體數(shù)據(jù)的需求。

目前，越來越多的國內(nèi)外學(xué)者致力于研究跨媒體檢索，所提出的方法大致可歸納為以下幾類：深度學(xué)習(xí)、概率模型、度量學(xué)習(xí)方法、子空間學(xué)習(xí)方法等。然而在跨媒體檢索中運(yùn)用子空間學(xué)習(xí)方法主要是為不同模態(tài)學(xué)習(xí)一個(gè)共同的空間，它的做法是將不同模態(tài)空間的特征投影到多模態(tài)共同空間，并獲得跨媒體相似性度量的共同表征。這種方法的優(yōu)勢(shì)在于簡(jiǎn)單明了，適用于任何多種媒體數(shù)據(jù)之間的檢索。缺點(diǎn)是：現(xiàn)有跨媒體檢索方法中大多局限于兩種媒體之間的檢索，以及存在著構(gòu)造近鄰圖的過程中計(jì)算權(quán)值矩陣過于繁瑣的問題。

這些傳統(tǒng)的檢索方法只集中在相同媒體或兩種媒體數(shù)據(jù)之間的檢索，這忽視了多種媒體數(shù)據(jù)之間存在著語義一致性和互補(bǔ)關(guān)系。因此設(shè)計(jì)一種跨媒體檢索方法滿足兩種或兩種以上的媒體數(shù)據(jù)之間相互檢索變得更有意義。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于子空間學(xué)習(xí)與半監(jiān)督正則化的跨媒體檢索方法，以解決上述問題。

本發(fā)明采用了如下技術(shù)方案：

一種基于子空間學(xué)習(xí)與半監(jiān)督正則化的跨媒體檢索方法，其特征在于，包括步驟：

步驟一，建立多媒體數(shù)據(jù)庫，

收集多媒體原始數(shù)據(jù)；提取多媒體數(shù)據(jù)的特征；保存多媒體數(shù)據(jù)的特征向量和原始數(shù)據(jù)；

步驟二，獲得不同媒體類型的投影矩陣，

定義最優(yōu)化目標(biāo)函數(shù)；利用迭代方法求解最優(yōu)化目標(biāo)函數(shù)；投影多媒體數(shù)據(jù)的特征向量到共同空間；

步驟三，進(jìn)行跨媒體檢索，

提取用戶提交的媒體數(shù)據(jù)的特征；投影該媒體數(shù)據(jù)的特征向量到共同空間中；計(jì)算該投影后的向量與共同空間中的其他向量之間的相似度；返回與之相似度最大的前k個(gè)特征向量所對(duì)應(yīng)媒體數(shù)據(jù)。

本發(fā)明的基于子空間學(xué)習(xí)與半監(jiān)督正則化的跨媒體檢索方法，還具有這樣的特征：

其中，步驟二中，定義最優(yōu)化目標(biāo)函數(shù)的方法如下：

最優(yōu)化目標(biāo)函數(shù)包括四個(gè)組成部分，最優(yōu)化目標(biāo)函數(shù)的第一個(gè)組成部分：