[發明專利]多標簽核化典型相關分析檢索方法

有效

• 申請號: 201710158859.9
• 申請日: 2017-03-17
• 公開（公告）號: CN106951509B
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 白亮;賈玉華;王昊冉;郭金林;謝毓湘;于天元
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06F16/435
• 分類號: G06F16/435;G06F16/44
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 陸薇薇

1.一種多標簽核化典型相關分析檢索方法，其特征在于，包括以下步驟：

(S1)選擇文本和視覺圖像，構建文本、視覺圖像和標簽的配對數據，并選擇配對數據的樣本；

配對數據的樣本表示為{(t₁,p₁,z₁),...,(t_i,p_i,z_i),...,(t_N,p_N,z_N)}，其中z_i是配對數據的第i個樣本的標簽向量，T_w＝[t₁,t₂,...,t_N]∈R^dt×N，T_w是文本樣本的矩陣表示，dt是文本樣本的維度，P＝[p₁,p₂,...,p_N]∈R^dp×N，P是視覺圖像樣本的矩陣表示，dp表示視覺圖像樣本的維度；Z＝[z₁,z₂,...,z_N]∈R^C×N，其中Z表示標簽矩陣，C為標簽的維度，N為配對數據的樣本數；

(S2)計算標簽的語義相似性矩陣；設f(g)為計算任意兩個標簽向量之間相似性的函數，則語義相似性矩陣S：

(S3)將語義相似性矩陣應用于核化典型相關分析來求取多模態共享子空間；

為獲取學習共同的多模態共享子空間，將ml-KCCA公式化為：

其中，ρ為相關系數，K_t和K_p分別表示N對樣本的N×N核矩陣，η用于控制語義相似性矩陣的影響系數，α,β表示投影向量；

根據和將求解α,β過程轉化為求解特征值問題如下：

B^-1Aw＝λw (4)

其中，λ為特征值，w＝[α β]^T，根據值最大的D個特征值，求出對應的一系列的向量(α¹,β¹),...,(α^D,β^D)；

根據(α¹,β¹),...,(α^D,β^D)，將新的文本輸入t_x投影到α指定的單個文本輸入上：

其中α_i表示向量α的第i個元素，t_i代表N個樣本數據中的第i個樣本，φ_t表示數據空間到特征空間的映射函數，k_t表示特征空間的核函數；

(S4)分別求取視覺圖像與文本在多模態共享子空間的投影表示；

新的文本t_x到D維公共子空間的最終投影M為：

新視覺圖像p_x到D維公共子空間的最終投影Q為：

(S5)進行檢索，獲取跨模態子空間的檢索結果，具體為：進行圖像檢索文本時，則通過將新視覺圖像通過Q映射到子空間，進而進行相似性檢索；進行文本檢索視覺圖像時，則將文本通過M映射到子空間，進而進行相似性檢索。

2.如權利要求1所述的一種多標簽核化典型相關分析檢索方法，其特征在于，所述計算相似性的函數f(g)為基于點乘的相似性度量函數：

其中<·>表示點乘運算，||g||表示求模運算，i＝1,2,L,N，j＝1,2,L,N，z_i是配對數據的第i個樣本的標簽向量，z_j是配對數據的第j個樣本的標簽向量。

3.如權利要求1所述的一種多標簽核化典型相關分析檢索方法，其特征在于，所述計算相似性的函數f(g)為基于指數平方的相似性度量函數：

其中，σ表示常數因子，i＝1,2,L,N，j＝1,2,L,N，||·||₂表示2-范數，z_i是配對數據的第i個樣本的標簽向量，z_j是配對數據的第j個樣本的標簽向量。