[發明專利]多標簽核化典型相關分析檢索方法

有效

• 申請號: 201710158859.9
• 申請日: 2017-03-17
• 公開（公告）號: CN106951509B
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 白亮;賈玉華;王昊冉;郭金林;謝毓湘;于天元
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06F16/435
• 分類號: G06F16/435;G06F16/44
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 陸薇薇

本發明屬于計算機檢索技術領域，具體涉及一種多標簽核化典型相關分析檢索方法。主要步驟為：(S1)選擇文本和視覺圖像，構建文本、視覺圖像和標簽的配對數據，并選擇配對數據的樣本；(S2)計算標簽的語義相似性矩陣；(S3)將語義相似性矩陣應用于核化典型相關分析來求取多模態共享子空間；(S4)分別求取視覺圖像與文本在多模態共享子空間投影表示；(S5)進行檢索，獲取跨模態子空間的檢索結果。本發明通過對多媒體文檔中多標簽形式的高層語義信息加以利用同時應用KCCA來挖掘不同模態之間非線性的相關關系，學習到了更適合于跨模態檢索任務的不同模態的更具有區分性的公共子空間，得到了很好的檢索效果。

技術領域

本發明屬于計算機檢索技術領域，具體涉及一種多標簽核化典型相關分析檢索方法。

背景技術

跨模態信息檢索是一個具有挑戰性的研究課題，查詢和結果屬于不同的模態，跨模態信息檢索即多模態信息之間的相互檢索，例如圖像檢索文本，文本檢索圖像。由于“語義鴻溝”的存在，不能直接對其進行比較。因此，此任務中的關鍵問題是如何測量多個模態之間的距離或相似性。現有技術中通過學習一個共享子空間來對齊這兩個特征空間，以便不同的模態之間可以比較。在現有方法中，典型相關分析(Canonical CorrelationAnalysis，簡稱CCA)[1]顯示出了其簡單性和效率，其通過最大化兩個模態投影之間的相關性來學習共享子空間。CCA已經成為許多跨模態檢索方法的主力。已經提出了CCA的許多擴展用于近年來的交叉模式檢索的任務。

雖然CCA由于其簡單性和效率而受歡迎，但它具有若干缺點。CCA依賴于模態之間的一一對應的配對關系，并未利用多媒體文檔中存在的高層語義標簽信息，這導致其不能得到更好地適合于跨模態檢索任務子空間。最近，已經提出了使用標簽信息的一些CCA的擴展方法。然而，大多數這些工作只適用于單個標簽注釋多媒體文檔中。通常情況下，一張圖像可以屬于多個類，因此假設數據用單個標簽注釋是不合理的，并且導致標簽信息未被最大程度的利用。因此，更接近真實情況的是考慮多標簽信息以挖掘來自不同模態的數據之間的相關性。

典型相關分析，首先由Hotelling提出，是一種用于發現多個數據空間的子空間的數據分析方法。然而，經典CCA忽略了限制其性能的附加高級語義信息。Rasiwasia et al為單標簽數據集提出了cluster-CCA[1]。Viresh Ranjan et al在文獻[2]提出了考慮多標簽信息的多標簽典型相關分析(multi-label Canonical Correlation Analysis，簡稱ml-CCA)。作為CCA的拓展方法，ml-CCA勝過大多數CCA的其它拓展方法受益于考慮多標記信息。然而ml-CCA是線性方法而不同模態的數據之間的相關性往往并非線性關系，這就限制了ml-CCA的性能。

通常情況下，圖像可以屬于多個類，即一個圖像通常對應多個標簽，考慮多標簽信息的情況更符合現實；同時，多模態之間的相關性并非簡單地線性關系。然而，現有的方法或者不利用多標簽信息形式的高級語義信息，或者不能挖掘模態間的非線性關系。參考文獻如下：

[1]Vijay Mahadevan,“Cluster canonical correlation analysis,”Aistats,2014.

[2]V.Ranjan,N.Rasiwasia,and C.V.Jawahar,“Multilabel cross-modalretrieval,”in 2015IEEE International Conference on Computer Vision(ICCV),Dec2015,pp.4094–4102.

發明內容