[發(fā)明專利]一種基于耦合鑒別性字典的跨媒體哈希索引方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410532084.3
• 申請(qǐng)日: 2014-10-10
• 公開（公告）號(hào): CN104317838A
• 公開（公告）日: 2015-01-28
• 發(fā)明（設(shè)計(jì)）人: 湯斯亮;邵健;余宙;吳飛;莊越挺
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 張法高

1.一種基于耦合鑒別性字典的跨媒體哈希索引方法，其特征在于包括如下步驟：

1)基于圖結(jié)構(gòu)對(duì)多個(gè)模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系進(jìn)行建模；通過數(shù)據(jù)底層特征之間的歐氏距離確定同一模態(tài)內(nèi)部的相似性，利用不同模態(tài)數(shù)據(jù)已知關(guān)聯(lián)關(guān)系確定模態(tài)間的關(guān)聯(lián)，利用數(shù)據(jù)所具有類別標(biāo)簽信息增強(qiáng)圖結(jié)構(gòu)上數(shù)據(jù)的鑒別性；

2)在步驟1)中得到的圖結(jié)構(gòu)上數(shù)據(jù)的關(guān)聯(lián)關(guān)系學(xué)習(xí)鑒別性的耦合字典；

3)利用步驟2)中學(xué)習(xí)得到的耦合字典對(duì)不同模態(tài)的數(shù)據(jù)進(jìn)行稀疏編碼，并映射到統(tǒng)一的字典空間內(nèi)；

4)學(xué)習(xí)從字典空間到二值海明空間的哈希映射函數(shù)。

2.根據(jù)權(quán)利要求1所述的一種基于耦合鑒別性字典的跨媒體哈希索引方法，其特征在于所述的步驟2)包括：

將步驟1)得到的圖結(jié)構(gòu)形式化表達(dá)為G(V，E，w，C)；其中V為圖結(jié)構(gòu)中的頂點(diǎn)集合，代表不同模態(tài)所對(duì)應(yīng)的數(shù)據(jù)對(duì)象，E是圖結(jié)構(gòu)中邊的集合，代表了每個(gè)頂點(diǎn)之間的關(guān)聯(lián)關(guān)系，w為邊的權(quán)重集合，C為每個(gè)頂點(diǎn)對(duì)應(yīng)的標(biāo)簽信息的集合；

得到圖結(jié)構(gòu)G(V，E，w，C)后，基于圖分割方法，給出了鑒別性耦合字典學(xué)習(xí)問題的解決方法：從邊的集合E中選擇合適的子集A，將圖G分割成K個(gè)子圖，將每個(gè)子圖中所包含數(shù)據(jù)對(duì)象的質(zhì)心選擇出來，形成一組耦合字典，假設(shè)總共有M個(gè)模態(tài)數(shù)據(jù)，就得到了M個(gè)耦合字典D¹，D²，...，D^M，每個(gè)字典中所包含的字典項(xiàng)個(gè)數(shù)都為K；

為了得到合適的子集A，設(shè)計(jì)了具有亞模性質(zhì)的三個(gè)函數(shù)，這三個(gè)亞模函數(shù)分別具有如下壓縮性、鑒別性和平衡性；

壓縮函數(shù)：基于隨機(jī)游走模型中的“熵率”，設(shè)計(jì)了壓縮函數(shù)，該函數(shù)使得每個(gè)子圖中的媒體對(duì)象之間距離盡可能近，從而使得每個(gè)子圖都具有“緊湊”特性，即

H(A)＝-∑_iμ_i∑_jP_i，j(A)logP_i，j(A)???(1)其中μ_i為頂點(diǎn)i穩(wěn)態(tài)分布的概率，P_i，j(A)為頂點(diǎn)i到j(luò)的傳遞概率函數(shù)，定義如下：

Pi,j(A)=wi,jwiifi≠andei,j∈A0,ifi≠jandei,j∉A1-Σj:ei,j∈AWi,j,ifi≠j---(2)]]>

鑒別函數(shù)：為了使每個(gè)字典項(xiàng)具有鑒別性，每個(gè)子圖中的媒體對(duì)象應(yīng)該盡可能具有相同的標(biāo)簽，鑒別函數(shù)定義如下：

D(A)=Σi=1NA1|V|maxyNyi-NA---(3)]]>

其中N_A為當(dāng)選出的邊的子集A時(shí)所對(duì)應(yīng)圖G被分割出子圖的個(gè)數(shù)；|V|表示頂點(diǎn)集合中頂點(diǎn)的個(gè)數(shù)，表示第i個(gè)子圖中標(biāo)簽為y的媒體對(duì)象個(gè)數(shù)；

平衡函數(shù)：為了防止出現(xiàn)子圖所包含媒體對(duì)象個(gè)數(shù)不均衡的過擬合現(xiàn)象，即某些子圖可能包含很多媒體對(duì)象而一些子圖僅包含有限媒體對(duì)象，從最大信息熵角度來如下定義平衡函數(shù)：

B(A)＝-∑_ip_A(i)log(p_A(i))-N_A???(4)

其中pA(i)=|Gi|Σi|Gi|,i={1,2,...,NA}]]>可表示每個(gè)子圖的分布情況。

將如下三個(gè)函數(shù)結(jié)合起來，使用如下目標(biāo)函數(shù)來學(xué)習(xí)得到合適的子集A，即產(chǎn)生合適的子圖：

max_AH(A)+λD(A)+γB(A)???(5)

s.t.A⊆EandNA≥K]]>

λ和γ為調(diào)節(jié)它們所對(duì)應(yīng)函數(shù)權(quán)重的超參數(shù)，這些參數(shù)可通過參數(shù)優(yōu)化調(diào)節(jié)過程來獲得。

3.根據(jù)權(quán)利要求1所述的一種基于耦合鑒別性字典的跨媒體哈希索引方法，其特征在于所述的步驟4)包括：

為了將K維稀疏編碼轉(zhuǎn)化為L(zhǎng)維二值海明編碼，從而高效進(jìn)行媒體對(duì)象檢索，需要學(xué)習(xí)將媒體對(duì)象從字典空間映射到海明空間的哈希函數(shù)；假設(shè)Z＝[Z¹，Z²，...，Z^M]為具有M種模態(tài)類型的訓(xùn)練數(shù)據(jù)在字典空間中的稀疏編碼集合，構(gòu)建近似近鄰矩陣其中Λ＝diag(Z1)為對(duì)角矩陣，由于近鄰矩陣具有非負(fù)、稀疏以及低秩特性，對(duì)進(jìn)行特征值分解后，選取前L個(gè)最大特征值以及它們各自所對(duì)應(yīng)特征向量則學(xué)習(xí)得到的哈希函數(shù)定義如下：

h(z)＝sign(P^Tz)???(6)

其中P＝Λ^-1/2VΣ^-1/2∈R^K×L為將媒體對(duì)象從K維字典空間映射到到L維海明空間的投影矩陣，V＝[v₁v₂，...，v_L]∈R^K×L，∑＝diag(σ₁，σ₂，...，σ_L)∈R^L×L，sign(·)為閾值為0的二值化函數(shù)。