[發明專利]一種基于實體映射的異構媒體相似性計算方法及檢索方法

有效

• 申請號: 201610003735.9
• 申請日: 2016-01-04
• 公開（公告）號: CN105677830B
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 黃雷;彭宇新
• 申請（專利權）人: 北京大學
• 主分類號: G06F16/40
• 分類號: G06F16/40;G06F16/43
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 邱曉鋒

本發明提出了一種基于實體映射的異構媒體相似性計算方法及檢索方法，包括以下步驟：建立包含不同模態媒體數據的異構媒體數據庫，提取不同模態媒體數據的特征向量；構建實體層，作為從底層特征到高層語義之間的過渡；考慮單一模態媒體數據以及不同模態媒體數據之間的關聯，學習得到實體映射，進而得到不同模態媒體數據在實體層的統一表示；生成語義抽象，得到高層語義概念的概率向量表示，最終得到異構媒體相似性計算結果用于異構媒體檢索。本發明構建了具有明確語義的實體層作為從底層特征到高層語義的過渡橋梁，減少了高層語義概念的歧義性，使得不同模態媒體數據能夠互相促進，提高相似性計算的準確性，從而取得更高的異構媒體檢索準確率。

技術領域

本發明涉及多媒體檢索技術領域，具體涉及一種基于實體映射的異構媒體相似性計算方法，以及相應的異構媒體檢索方法。

背景技術

近年來，隨著多媒體技術和互聯網技術的迅速發展和普及，互聯網上的文本、圖像、視頻和音頻等不同模態的媒體數據呈快速增長趨勢。網絡信息已經由傳統的單一文本、圖像為主的模式逐漸轉變為文本、圖像、視頻以及音頻的異構媒體綜合體，并已成為人們傳播知識、獲取信息和休閑娛樂的主要方式。面對海量且高速增長的異構媒體數據，如何對之進行有效的管理，使用戶能夠迅速檢索到想要的信息，成為了一個亟待解決的關鍵問題。

現有的檢索方式一般局限于單一媒體檢索，如基于關鍵字的檢索和基于內容的圖像檢索。基于關鍵字的檢索起源于文本檢索領域，隨后擴展到其他模態的媒體數據，主要是通過關鍵字關聯索引數據，用戶提供文本查詢，檢索系統再根據關鍵字提取準則處理并進行檢索。基于內容的圖像檢索是指用戶提供查詢圖像，檢索系統依據圖像內容在圖像數據庫中檢索出符合查詢條件的結果，一般需要對媒體數據提取特征，以此來描述媒體數據的內容。上述兩種檢索方式都限制了用戶的查詢輸入，同時返回結果也局限于單一媒體數據，而用戶常常希望能夠檢索得到所有相關數據，包括文本、圖像、視頻和音頻等不同模態的媒體數據。因此，異構媒體檢索獲得了研究者的廣泛關注。異構媒體檢索提供了靈活的檢索方式，不限制用戶提交查詢的媒體類型；同時提供了全面的檢索結果，能夠返回不同模態的媒體數據。

現有的異構媒體相似性計算方法主要有兩類：第一類是基于統一圖模型的方法；第二類是基于統一特征子空間的方法。基于統一圖模型的方法主要是利用不同模態媒體數據的共存關系，將不同模態媒體數據作為結點，構建異構媒體的統一圖模型，利用圖模型來度量不同模態媒體數據之間的相似度。每個媒體對象對應于統一圖模型中的一個結點，結點之間邊的權值表示兩個媒體對象之間的相似度。通過標簽傳遞算法，可以計算出用戶查詢與所有結點的相似度。這類方法當用戶查詢在數據庫之外時，算法效果會大大降低，需要依賴人工反饋來提升檢索準確率，自動化程度大大降低。基于統一特征子空間的方法將不同模態的特征顯式映射到統一特征子空間，然后在其上進行相似性計算。這類方法一般把統一特征子空間作為從底層特征到高層特征過渡的統一表示層，但往往沒有明確的語義，將會較大程度地忽視原始媒體數據的語義信息。

發明內容

針對現有技術的不足，本發明提出了一種基于實體映射的異構媒體相似性計算方法，以及相應的異構媒體檢索方法，在底層特征和高層語義之間構建細粒度實體層來過渡，一定程度上減少了高層語義概念的歧義性，同時能夠充分挖掘具有相同語義的異構媒體數據之間的關聯關系，提高異構媒體檢索的準確率。

本發明采用的技術方案如下：

一種基于實體映射的異構媒體相似性計算方法，用于計算不同模態媒體數據之間的異構媒體相似性，實現異構媒體檢索，包括以下步驟：

(1)建立包含不同模態媒體數據的異構媒體數據庫，并標注一定數量的異構媒體數據作為訓練集，提取不同模態媒體數據的特征向量；

(2)對訓練集數據提取并篩選實體，構建實體層，作為從底層特征到高層語義之間的中間層；