[發明專利]一種基于實體映射的異構媒體相似性計算方法及檢索方法

有效

• 申請號: 201610003735.9
• 申請日: 2016-01-04
• 公開（公告）號: CN105677830B
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 黃雷;彭宇新
• 申請（專利權）人: 北京大學
• 主分類號: G06F16/40
• 分類號: G06F16/40;G06F16/43
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 邱曉鋒

1.一種基于實體映射的異構媒體相似性計算方法，包括以下步驟：

(1)建立包含不同模態媒體數據的異構媒體數據庫，并標注一定數量的異構媒體數據作為訓練集，提取不同模態媒體數據的特征向量；

(2)對訓練集數據提取并篩選實體，構建實體層，作為從底層特征到高層語義之間的中間層；所述對訓練集數據提取并篩選實體，首先采用實體抽取工具得到實體集合，再通過互信息特征選擇算法計算實體包含分類信息的大小，進行實體的排序篩選；

(3)利用訓練集的不同模態媒體數據的特征向量以及對應的標注，考慮單一模態媒體數據以及不同模態媒體數據之間的關聯，學習得到實體映射，進而得到不同模態媒體數據在實體層的統一表示；

(4)在實體層的統一表示基礎上生成語義抽象，得到高層語義概念的概率向量表示，最終得到異構媒體相似性計算結果。

2.如權利要求1所述的方法，其特征在于，所述步驟(1)中不同模態媒體數據為文本和圖像，對于文本數據，提取隱狄利克雷分布特征向量；對于圖像數據，提取尺度不變特征變換特征，然后聚類量化得到視覺詞袋特征向量。

3.如權利要求1所述的方法，其特征在于，所述步驟(2)使用實體抽取工具對文本數據提取得到初始實體；針對訓練集抽取得到的實體集合，基于工具特性和分類信息篩選出有助于分類的實體，構建得到實體層。

4.如權利要求3所述的方法，其特征在于，基于分類信息進行實體篩選時，采用互信息特征選擇算法計算出每個實體關于每個高層語義概念的互信息，再取平均得到每個實體的互信息，以此來度量實體包含分類信息的大小，最后排序篩選出合適數目的實體，構建得到實體層。

5.如權利要求1所述的方法，其特征在于，所述步驟(3)通過考慮異構媒體關聯誤差，挖掘具有相同語義的不同模態媒體數據之間的關聯；通過考慮單一媒體重構誤差，保證媒體數據與所屬概念之間的關聯。

6.如權利要求5所述的方法，其特征在于，考慮到實體層的稀疏性以及檢索效率，選取線性映射作為實體映射，最終通過迭代優化求解得到實體映射。

7.如權利要求1所述的方法，其特征在于，所述步驟(4)在實體層的統一表示基礎上，采用邏輯回歸算法進行語義抽象，計算每一個高層語義概念的后驗概率，從而得到高層語義概念的概率向量表示，然后計算不同模態媒體數據之間的中心歸一化關聯度作為相似性計算結果。

8.一種基于實體映射的異構媒體檢索方法，包括以下步驟：

(1)采用權利要求1至7中任一項所述的相似性計算方法，得到不同模態媒體數據在高層語義概念上的相似性計算結果；

(2)基于相似性計算結果大小對查詢結果進行排序，得到異構媒體檢索結果。