[發明專利]基于字典對學習的哈希跨模態信息檢索方法

在審

• 申請號: 202010822181.1
• 申請日: 2020-08-16
• 公開（公告）號: CN111984800A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 王磊;閔康凌;李丹萍;史凌峰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F16/435
• 分類號: G06F16/435;G06F16/9536;G06K9/62
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于字典對學習的哈希跨模態信息檢索方法，其特征在于：對兩種不同物理形態的模態數據構建各自模態的字典對，將不同模態數據通過字典對變換得到兩種不同模態的數據的嵌入系數，將不同模態的數據的嵌入系數映射至漢明空間，該方法的步驟包括如下：

(1)生成訓練集：

隨機選取兩種不同物理形態的模態數據及其與每種模態對應物品的類別標簽矩陣，對兩種模態數據的特征矩陣做均一化處理后組成訓練集，其中，兩種模態數據的標簽矩陣一致；

(2)構造基于字典對學習的哈希目標函數Q：

其中，min(·)表示取最小值操作，||·||_F表示取F范數操作，Y表示兩種不同模態數據一致的標簽矩陣，W表示通過最優方向法優化目標函數Q待獲取的線性分類器，(·)^T表示轉置操作，B表示哈希碼矩陣，X表示數據集中兩種不同模態中的一種模態數據的特征矩陣，D_x表示通過最優方向法優化目標函數Q待獲取的特征矩陣X的合成字典，P_x表示通過最優方向法優化目標函數Q待獲取的特征矩陣X的解析字典，特征矩陣X的合成字典和解析字典構成該模態的字典對，H表示數據集中兩種不同模態中的另一種模態數據的特征矩陣，D_h表示通過最優方向法優化目標函數Q待獲取的特征矩陣H的合成字典，特征矩陣H的合成字典和解析字典構成該模態的字典對，P_h表示通過最優方向法優化目標函數Q待獲取的特征矩陣H的解析字典，Z_x表示通過最優方向法優化目標函數Q待獲取的特征矩陣X的系數嵌入矩陣，Z_h表示通過最優方向法優化目標函數Q待獲取的特征矩陣H的系數嵌入矩陣，P_xb表示通過最優方向法優化目標函數Q系數待獲取的嵌入矩陣Z_x對應的投影矩陣，P_hb表示通過最優方向法優化目標函數Q待獲取的系數嵌入矩陣Z_h對應的投影矩陣，μ_X、μ_H、γ_X、γ_H、λ_X和λ_H表示折衷參數，α表示防止W,P_xb,P_hb過擬合的約束參數，s.t.表示約束條件，||·||₂表示2范數操作，表示合成字典D_x中的第i列數據，i＝1,2,…,n_x，n_x表示合成字典D_x列的總數，表示合成字典D_h中的第j列數據，j＝1,2,…,n_h，n_h表示合成字典D_h列的總數；

(3)優化哈希目標函數：

(3a)用單位矩陣分別對線性分類器W、合成字典D_x、解析字典P_x、系數嵌入矩陣Z_x、合成字典D_h、解析字典P_h、系數嵌入矩陣Z_h、投影矩陣P_xb和投影矩陣P_hb進行初始化；

(3b)對目標函數中的線性分類器W、合成字典D_x、解析字典P_x、系數嵌入矩陣Z_x、合成字典D_h、解析字典P_h、系數嵌入矩陣Z_h、投影矩陣P_xb、投影矩陣P_hb和哈希碼矩陣B分別求一階導數，將求導后的矩陣帶入到目標函數中，得到更新后的目標函數值；

(3c)判斷更新后的目標函數是否收斂，若是，則得到訓練集的哈希碼矩陣并執行步驟(4)，否則，執行步驟(3b)；

(4)將兩種和訓練集相同模態的數據及其與每種模態對應的物品的類別標簽矩陣組成待檢索樣本集，利用與步驟(3)優化哈希目標函數的相同方法，對待檢索的樣本集做字典對變換，得到待檢索的哈希碼矩陣；

(5)得到跨模態檢索結果：

(5a)對待檢索的哈希碼矩陣和訓練集的哈希碼矩陣進行異或操作，得到兩個哈希碼矩陣的漢明距離；

(5b)對兩個哈希碼矩陣的漢明距離按照升序進行排列，將前50個漢明距離對應的標簽作為檢索結果。