[發(fā)明專利]一種魯棒離散監(jiān)督跨媒體哈希檢索方法

有效

• 申請?zhí)枺?/td>: 201910096204.2
• 申請日: 2019-01-31
• 公開（公告）號: CN109871454B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計）人: 姚濤;閆連山;呂高煥;崔光海;岳峻
• 申請（專利權(quán)）人: 魯東大學
• 主分類號: G06F16/48
• 分類號: G06F16/48;G06F16/43;G06F16/41
• 代理公司: 煙臺雙聯(lián)專利事務所(普通合伙) 37225
• 代理人: 梁翠榮

1.一種魯棒離散監(jiān)督跨媒體哈希檢索方法，其特征在于，該方法包括如下步驟：

第一步：搜集含有類標簽的圖像和文本樣本對，構(gòu)成圖像、文本一一對應的跨模態(tài)檢索的圖文數(shù)據(jù)集；

第二步：分別對圖像和文本模態(tài)樣本提取特征，并分別對圖像和文本模態(tài)樣本的特征去均值，使兩個模態(tài)樣本的特征數(shù)據(jù)均值為0；

第三步：將數(shù)據(jù)集中的所有樣本對隨機劃分為訓練集和測試集；

第四步：利用訓練集中樣本對的類標簽、圖像和文本模態(tài)的樣本特征分別構(gòu)造兩兩樣本間相似度矩陣，并利用兩兩樣本間相似度矩陣的低秩特性和噪聲樣本的稀疏特性，學習一個魯棒的兩兩樣本間相似度矩陣；訓練樣本對的特征設(shè)為X，X＝{X⁽¹⁾，X⁽²⁾}，其中X⁽¹⁾表示訓練集中圖像模態(tài)的樣本特征，X⁽²⁾表示訓練集中文本模態(tài)的樣本特征，其中d₁和d₂分別表示圖像和文本模態(tài)樣本特征的維度，N表示訓練集中圖像或文本模態(tài)樣本數(shù)量，樣本對的類標簽用L表示，c表示樣本類別的數(shù)量，l_i∈{0，1}^c，如果l_ij＝1，表示第i個樣本屬于第j類；反之，如果l_ij＝0，表示第i個樣本不屬于第j類；學習魯棒兩兩樣本間相似度矩陣的目標函數(shù)包括以下步驟：

(1)利用圖像模態(tài)的樣本特征計算基于圖像模態(tài)特征的兩兩樣本間的相似度矩陣，定義如下：

其中||·||_F表示Frobenius范數(shù)，S⁽¹⁾表示圖像模態(tài)的兩兩樣本間相似度矩陣，表示第i個圖像樣本和第j個圖像樣本的相似度，σ₁為尺度參數(shù)；

(2)利用文本模態(tài)的樣本特征計算基于文本模態(tài)特征的兩兩樣本間相似度矩陣，定義如下：

其中S⁽²⁾表示文本模態(tài)的兩兩樣本間相似度矩陣，表示第i個文本樣本和第j個文本樣本的相似度，σ₂為尺度參數(shù)；

(3)利用樣本對的類標簽計算基于類標簽的兩兩樣本間相似度矩陣，定義如下：

其中S⁽³⁾表示樣本對標簽的兩兩相似度矩陣，表示第i個樣本對標簽和第j個樣本對標簽的相似度；

(4)學習魯棒兩兩樣本間相似度矩陣的目標函數(shù)定義如下：

s.t.S⁽ⁱ⁾＝S+||E⁽ⁱ⁾||₀

其中S表示學習的魯棒樣本間兩兩相似度矩陣，E⁽ⁱ⁾表示第i個兩兩相似度矩陣中的噪聲，rank(·)表示矩陣的秩，||·||₀表示l₀范數(shù)；

(5)上述(4)中的目標函數(shù)存在離散低秩和l₀范數(shù)的約束，上式可改寫為

s.t.S⁽ⁱ⁾＝S+||E⁽ⁱ⁾||₁

其中||·||_*表示核范數(shù)，||·||₁表示l₁范數(shù)，

(6)利用増廣拉格朗日乘子法求解這個問題，得到魯棒兩兩樣本間相似度矩陣；

第五步：構(gòu)造目標函數(shù)，具體包括以下步驟：

(1)在漢明空間保持基于魯棒兩兩樣本間相似度矩陣的相似性，哈希碼學習的目標函數(shù)定義如下：

其中k表示哈希碼的長度，B₁為圖像模態(tài)樣本的哈希碼，B₂為文本模態(tài)樣本的哈希碼，λ為權(quán)重參數(shù)；

(2)利用線性映射作為哈希函數(shù)，并利用l_2，1范數(shù)作為正則項約束圖像和文本模態(tài)哈希函數(shù)的學習，各模態(tài)哈希函數(shù)學習的目標函數(shù)定義如下：

其中W₁，W₂分別表示圖像模態(tài)和文本模態(tài)的哈希函數(shù)，Reg(·)表示正則項防止過擬合，在這里β_i和μ為權(quán)重參數(shù)；

(3)將哈希碼和哈希函數(shù)學習的目標函數(shù)相加即為本方法的目標函數(shù)，定義如下：

其中β_i為權(quán)重參數(shù)；

第六步：目標函數(shù)利用迭代優(yōu)化算法求解，求解過程包括以下步驟：

(1)固定W₁，W₂和B₂，求解B₁：

去除常數(shù)項，目標函數(shù)可寫為：

在此可以逐樣本求解，令b_1i表示B₁的第i列，b_2j表示B₂的第j列，去除常數(shù)項目標函數(shù)可寫為：

在此采用循環(huán)坐標梯度下降法逐比特求解，設(shè)b_1im表示b_1i的第m比特，表示b_1i除了第m比特外的其他比特構(gòu)成的向量，則b_1im可由下式得到：

重復上式直至求解完所有圖像模態(tài)樣本的哈希碼；

(2)固定W₁，W₂和B₁，求解B₂：

與求解B₁方法相同，可得

重復上式直至求解完所有文本模態(tài)樣本的哈希碼；

(3)固定W₂，B₁和B₂，求解W₁：

去除常數(shù)項，目標函數(shù)可寫為：

這個問題存在閉合解

其中D₁為對角陣，

(4)固定W₁，B₁和B₂，求解W₂：

與求解W₁方法相同，W₂存在閉合解

其中D₂為對角陣，

(5)重復執(zhí)行(1)-(4)至算法收斂或達到最大迭代次數(shù)；

第七步：用戶輸入查詢樣本，提取其特征，并對提取的特征去均值；

第八步：利用已學習的哈希函數(shù)生成查詢樣本的哈希碼：

第九步：計算查詢樣本與訓練集中異構(gòu)樣本的漢明距離，并對漢明距離按升序排列，前r個漢明距離對應的樣本即為檢索結(jié)果。