[發明專利]基于協同訓練的矩陣分解跨模態哈希檢索方法

有效

• 申請號: 201710006037.9
• 申請日: 2017-01-05
• 公開（公告）號: CN106777318B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 王秀美;張婕妤;高新波;王笛;李潔;鄧成;王穎;田春娜;韓冰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/31;G06F16/50
• 代理公司: 61205 陜西電子工業專利中心
• 代理人: 程曉霞;王品華

1.一種基于協同訓練的矩陣分解跨模態哈希檢索方法，其特征在于，包括有如下步驟：

(1)獲取原始數據，原始數據集包括訓練數據集和測試數據集，對原始數據集的訓練數據進行歸一化處理，得到相應的歸一化訓練數據，包括歸一化圖像訓練數據，簡稱為圖像數據，記為X⁽¹⁾，歸一化文本訓練數據，簡稱為文本數據，記為X⁽²⁾；

(2)利用協同訓練方法，得到構造訓練數據的模態間相似性約束項的拉普拉斯矩陣；

(2a)利用高斯核函數分別對圖像數據和文本數據構造相似性矩陣，圖像數據的相似性矩陣記為K₁，文本數據的相似性矩陣記為K₂；

(2b)分別計算圖像數據相似性矩陣和文本數據相似性矩陣的拉普拉斯矩陣；

(2c)分別對拉普拉斯矩陣進行特征分解，得到特征向量，圖像數據拉普拉斯矩陣的特征向量記為P₁，文本數據拉普拉斯矩陣的特征向量記為P₂；

(2d)利用協同訓練方法分別更新相似性矩陣，得到更新后的圖像數據相似性矩陣和更新后的文本數據相似性矩陣圖像數據的相似性矩陣記為K₁,文本數據的相似性矩陣定義記為K₂；

(2e)設定一個協同訓練迭代次數，當迭代次數達到迭代設定值時，執行步驟(2f)，否則返回步驟(2d)，用協同訓練方法分別再次更新圖像數據和文本數據的相似性矩陣；

(2f)分別用迭代完成時的相似性矩陣計算模態間相似性約束項的圖像數據和文本數據的拉普拉斯矩陣，圖像數據的拉普拉斯矩陣記為L₁，文本數據的拉普拉斯矩陣記為L₂；

(3)構造訓練數據的近鄰關系，得到構造訓練數據的模態內相似性約束項的拉普拉斯矩陣L′；

(4)分別對歸一化訓練數據進行矩陣分解，并構造訓練數據的模態間及模態內相似性約束項，得到目標函數；

(5)對目標函數中作為變量的基矩陣、系數矩陣以及投影矩陣進行交替迭代，得到對訓練數據進行矩陣分解后的基矩陣、系數矩陣以及投影矩陣的具體表達式；

(6)得到訓練數據集的哈希編碼；

對訓練數據的系數矩陣V進行量化，得到訓練數據集的哈希編碼Y；

(7)得到測試數據集的哈希編碼；

(7a)將在訓練階段得到的投影矩陣W^t與測試數據集中的測試數據X^t′相乘，對測試數據進行由高維到低維子空間投影的低維表示，其中，t＝1代表圖像數據，t＝2代表文本數據；

(7b)將得到的測試數據低維表示進行量化，得到測試數據集的哈希編碼Y^t′；

(8)計算測試數據哈希編碼Y^t′與訓練數據集哈希編碼Y之間的漢明距離；

(9)對漢明距離進行排序，得到測試數據檢索結果，完成基于協同訓練的矩陣分解跨模態哈希檢索。

2.根據權利要求1所述的基于協同訓練的矩陣分解跨模態哈希檢索方法，其特征在于，步驟(3)所述的構造訓練數據的近鄰關系，得到構造訓練數據的模態內相似性約束項的拉普拉斯矩陣，包括有如下步驟：

(3a)將歸一化圖像訓練數據矩陣的每行作為向量，看做一個圖像數據，求得每兩個向量之間的歐氏距離d；

(3b)將歐氏距離d進行排序，針對每個圖像數據，取出其k個最近鄰點的歐氏距離，存成對稱的鄰接矩陣W₁，k的取值范圍為[10，50]；

(3c)計算圖像數據鄰接矩陣W₁的拉普拉斯矩陣L₁′；

(3d)針對文本數據，按照步驟(3a)到(3c)的同樣方法得到文本數據鄰接矩陣的拉普拉斯矩陣L₂′；

(3e)將步驟(3c)和步驟(3d)中得到的圖像數據和文本數據的拉普拉斯矩陣相加，得到模態內相似性約束的拉普拉斯矩陣L′。