[發明專利]一種面向圖文樣本的高效監督圖嵌入跨媒體哈希檢索方法

在審

• 申請號: 202010943065.5
• 申請日: 2020-09-09
• 公開（公告）號: CN112214623A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 姚濤;劉莉;閆連山;賀文偉;崔光海
• 申請（專利權）人: 魯東大學;煙臺艾迪恩信息科技有限公司
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/53;G06F16/41;G06F16/35;G06F16/33;G06F16/31;G06F40/30;G06K9/62;G06N3/08
• 代理公司: 煙臺雙聯專利事務所(普通合伙) 37225
• 代理人: 矯智蘭

1.一種面向圖文樣本的高效監督圖嵌入跨媒體哈希檢索方法，其特征在于，步驟如下：

步驟1、從網絡收集圖像和文本樣本，并將屬于同一網頁的圖像和文本樣本作為圖文樣本對構成圖文樣本集，標注圖文樣本對的類別，并將圖文樣本對劃分為訓練集和測試集；

步驟2、提取訓練集和測試集中所有圖像和文本樣本的特征，并對特征進行歸一化和去均值；

步驟3、訓練集中的圖文樣本對的特征用表示，其中、分別表示訓練集中所有圖像樣本、文本樣本的特征，，表示實數，表示特征的維度，表示訓練集中圖文樣本對的數量， 表示樣本對的類別標簽，其中表示總類別數，表示圖文樣本對的數量；隨機選擇個樣本對作為錨點，其中，，利用高斯徑向基函數將所有圖像樣本、文本樣本的特征映射到非線性空間：

其中為尺度參數，表示范數，表示矩陣或向量的轉置；

步驟4、利用圖文樣本對的類別標簽構造樣本對的圖鄰接矩陣，表示實數，其定義如下：

其中，表示矩陣的第行第列的數值，表示范數；

步驟5、構造圖鄰接矩陣的Laplace矩陣，其中是的對角陣，其對角元素；

步驟6、結合步驟1-步驟5，利用保持樣本特征的模態間、模態內語義相似性和最小化量化誤差構造本方法的目標函數；

步驟7、利用迭代優化算法求解目標函數；

步驟8、用戶輸入查詢樣本，提取其特征，將特征進行歸一化和去均值，并利用高斯徑向基函數將樣本的特征映射到非線性空間，得到查詢樣本的表示；

步驟9、利用已學習的線性映射函數和旋轉矩陣，生成查詢樣本的哈希碼；

步驟10、計算查詢樣本與樣本集中異構樣本哈希碼的漢明距離，并按漢明距離從小到大排列，返回前個樣本即為檢索結果。

2.如權利要求1所述的一種面向圖文樣本的高效監督圖嵌入跨媒體哈希檢索方法，其特征在于，步驟6中目標函數的定義如下：

其中、、、、和為權重參數，和分別表示為圖像樣本和文本樣本模態學習的線性投影矩陣，表示哈希碼的長度，表示矩陣的跡，為線性映射矩陣，為圖文樣本對學習的哈希碼，為正交旋轉矩陣，表示尺寸為的單位陣，表示正則化項。

3.如權利要求1或2所述的一種面向圖文樣本的高效監督圖嵌入跨媒體哈希檢索方法，其特征在于，步驟7中求解目標函數具體包括以下步驟：

步驟71、固定，，和求解：去除與 無關的項，則目標函數變為：

對上式求關于的導數，并令其等于0，則可得：

Laplace矩陣為矩陣，的計算復雜度和內存開銷均為：

和的計算復雜度和內存開銷均為，預定義常量，則、；預定義常量，則可轉換為，而的計算復雜度和內存開銷為；可轉換為，而的計算復雜度和內存開銷為，因此計算的計算復雜度和內存開銷都減少為；

步驟72、固定，，和求解：與求解類似，可得：

利用與求解類似的方法，將計算的計算復雜度和內存開銷都減少為；

步驟73、固定，，和求解：去除與無關的項，則目標函數變為：

對上式求關于的導數，并令其等于0，則可得：

步驟74、固定，，和求解：去除與無關的項，則目標函數變為：

上式可由奇異值分解（SVD）算法求解，即，其中為左奇異矩陣，為右奇異矩陣，為奇異值矩陣，則；

步驟75、固定，，和求解：去除與無關的項，則目標函數變為：

可得：

其中表示符號函數；

步驟76、重復步驟71-步驟75，直到算法收斂或達到最大迭代次數。

4.如權利要求3所述的一種面向圖文樣本的高效監督圖嵌入跨媒體哈希檢索方法，其特征在于，在步驟9中，查詢樣本的哈希碼為。