[發(fā)明專利]一種基于協(xié)同矩陣分解的跨模態(tài)檢索方法

有效

• 申請?zhí)枺?/td>: 201810062484.0
• 申請日: 2018-01-23
• 公開（公告）號: CN108334574B
• 公開（公告）日: 2020-06-12
• 發(fā)明（設(shè)計）人: 李新衛(wèi);荊曉遠;吳飛;孫瑩
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/33;G06F16/31
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 劉莎

1.一種基于協(xié)同矩陣分解的跨模態(tài)檢索方法，其特征在于，包括如下步驟：

步驟1，獲取原始數(shù)據(jù)，首先對原始數(shù)據(jù)中的圖像和文本分別進行特征提取，并對提取到的圖像特征和文本特征分別進行歸一化處理，再將歸一化處理后的圖像特征和文本特征分別分為兩個部分，一部分圖像特征和文本特征構(gòu)成訓(xùn)練集，另一部分圖像特征和文本特征構(gòu)成測試集；

步驟2，利用訓(xùn)練集中的特征數(shù)據(jù)的類標簽構(gòu)造圖像與圖像、文本與文本模態(tài)內(nèi)以及圖像與文本模態(tài)間相似性矩陣和拉普拉斯矩陣；

步驟3，將矩陣分解函數(shù)、哈希函數(shù)和正則化項合并生成整體目標函數(shù)，整體目標函數(shù)的表達式如下所示：

式中，i,j＝1,2，λ₁和λ₂分別表示圖像模態(tài)內(nèi)和文本模態(tài)內(nèi)的平衡系數(shù)，X₁和X₂分別表示訓(xùn)練集中圖像特征數(shù)據(jù)和文本特征數(shù)據(jù)，U₁和U₂分別表示X₁和X₂的基矩陣，V是成對的圖像和文本在低維潛在語義空間的共同表示，α為哈希函數(shù)學(xué)習時的權(quán)重系數(shù)，h(·)表示哈希函數(shù)，γ為圖正則化項的加權(quán)系數(shù)，tr(·)表示矩陣的跡范數(shù)，P₁和P₂分別表示X₁和X₂利用哈希函數(shù)所學(xué)習的投影矩陣，L₁₁、L₂₂分別表示圖像與圖像模態(tài)內(nèi)、文本與文本模態(tài)內(nèi)拉普拉斯矩陣，L₁₂＝L₂₁表示圖像與文本模態(tài)間的拉普拉斯矩陣，I為單位矩陣；

步驟4，對步驟3生成的整體目標函數(shù)中的變量U_i、V、P_i分別進行迭代更新，直至達到設(shè)定的最大迭代次數(shù)，具體為：

(1)將U_i、V、P_i中的所有元素均初始化為(0,1)區(qū)間內(nèi)的隨機數(shù)，設(shè)定λ_i、α、γ的值以及最大迭代次數(shù)；

(2)固定V、P₁和P₂，更新U₁、U₂：

其中，U₁^t+1、U₁^t分別表示第t+1、t次迭代后的U₁，U₂^t+1、U₂^t分別為第t+1、t次迭代后的U₂；η₁、η₂為平衡參數(shù)；

(3)固定U₁、U₂、P₁和P₂，利用KKT條件更新V：

其中，V_pq^t+1、V_pq^t分別表示第t+1、t次迭代后的V中的第p行第q列元素；V^t表示第t次迭代后的V，分別表示U₁^t、U₂^t的轉(zhuǎn)置；

(4)固定V、U₁和U₂，更新P₁、P₂：

其中，P₁^t+1、P₁^t分別表示第t+1、t次迭代后的P₁；P₂^t+1、P₂^t分別表示第t+1、t次迭代后的P₂；

步驟5，利用符號函數(shù)得到訓(xùn)練集中圖像文本統(tǒng)一的哈希編碼矩陣sign(V)；

步驟6，根據(jù)投影矩陣P₁、P₂，將測試集中的圖像特征數(shù)據(jù)X′₁、文本特征數(shù)據(jù)X′₂代入步驟3中的哈希函數(shù)分別得到X′₁、X′₂的哈希編碼；

步驟7，分別計算X′₁、X′₂的哈希編碼與訓(xùn)練集哈希編碼sign(V)之間的漢明距離D₁與D₂；

步驟8，分別對漢明距離D₁與D₂進行升序排列，根據(jù)排序結(jié)果找到對應(yīng)的索引，將索引的前K項對應(yīng)的對象作為檢索結(jié)果，并根據(jù)檢索結(jié)果的類標簽計算檢索精度，從而實現(xiàn)以圖檢文和以文檢圖的跨模態(tài)檢索。