[發明專利]一種基于統一稀疏表示的跨媒體檢索方法

在審

• 申請號: 201410356736.2
• 申請日: 2014-07-24
• 公開（公告）號: CN104166684A
• 公開（公告）日: 2014-11-26
• 發明（設計）人: 翟曉華;彭宇新;肖建國
• 申請（專利權）人: 北京大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余功勛

1.一種基于統一稀疏表示的跨媒體檢索方法，包括以下步驟：

(1)建立包含多種媒體類型的跨媒體數據庫，并將所述數據庫分為訓練集和測試集，提取每種媒體類型數據的特征向量；

(2)通過訓練集的多媒體數據，為每種媒體類型學習跨媒體統一稀疏表示的特征映射矩陣；

(3)根據特征映射矩陣，將測試集中的每種媒體類型映射到統一的空間中，得到跨媒體數據的統一稀疏表示；

(4)基于統一稀疏表示，計算任意媒體數據之間的跨媒體相似性；

(5)將測試集中的每個數據作為查詢樣例，以整個測試集作為查詢目標集進行查詢；計算查詢樣例和查詢目標集中媒體數據之間的跨媒體相似性，進而根據相似性得到跨媒體統一檢索結果，檢索結果包含相關的所有媒體類型數據。

2.如權利要求1所述的方法，其特征在于，所述多種媒體類型為五種媒體類型，包括文本、圖像、視頻、音頻和3D數據。

3.如權利要求2所述的方法，其特征在于，對于文本數據，提取其隱狄雷克雷分布特征向量；對于圖像數據，提取其詞袋特征向量；對于視頻數據，提取其詞袋特征向量；對于音頻數據，提取其梅爾頻率倒譜系數特征向量；對于3D數據，提取其光場特征向量。

4.如權利要求1所述的方法，其特征在于，所述步驟(2)中跨媒體統一稀疏表示學習算法考慮了所有不同媒體類型數據之間的關聯關系，同時也考慮了跨媒體數據在映射后的空間中的稀疏性，并保持映射后的統一特征空間樣本分布和映射之前的特征空間樣本分布接近。

5.如權利要求4所述的方法，其特征在于，步驟(2)所述為每種媒體類型學習跨媒體統一稀疏表示的特征映射矩陣，其建立的目標函數為：

minP(i),...,P(s)Σi=1sΣj=i+1s||P(i)TXmij(i)-P(j)TXmij(j)||F2+Σi=1s(||P(i)TX(i)-Y(i)||F2+λ(Ω(P(i))+||P(i)||2,1)),]]>

其中P⁽¹⁾,...,P^(s)為跨媒體數據庫中所有s種媒體類型的映射矩陣，上標(i)表示第i種媒體類型的映射矩陣，矩陣的維度為d⁽ⁱ⁾×c，可以將原始的特征向量從d⁽ⁱ⁾維的空間映射到一個統一的c維的統一空間中；和表示一一對應的兩個矩陣，這兩個矩陣中的一一對應樣本表示來自不同媒體類型，而具有同樣類別標簽的元素；||Z||_F表示矩陣Z的Frobenius范數，其定義為：||Z||_2,1表示矩陣Z的l_2,1范數，其定義為：最小化||Z||_2,1能夠使得矩陣Z稀疏。