[發明專利]基于判別相關分析的跨媒體檢索方法

有效

• 申請號: 201210133488.6
• 申請日: 2012-04-28
• 公開（公告）號: CN102663447A
• 公開（公告）日: 2012-09-12
• 發明（設計）人: 譚鐵牛;王亮;王威
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/64
• 分類號: G06K9/64;G06F17/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 宋焰琴

1.一種基于判別相關分析的跨媒體檢索方法，其特征在于，該方法包括以下步驟：

步驟1，建立包括一一對應的圖像和文本對的跨媒體訓練數據庫并提取該數據庫中不同模態樣本的特征向量，得到相應的特征數據點集；

步驟2，分別對圖像與文本兩個模態的特征數據點集進行均值預處理，使得每個模態的特征數據點集的均值為0；

步驟3，將經過均值預處理的特征數據點集進行線性投影變換，并根據得到的投影空間設定一關于線性投影變量的目標函數；

步驟4，使用特征值求解法求解所述目標函數，得到線性投影向量a和b；

步驟5，建立包括一一對應的圖像和文本對的跨媒體測試數據庫；

步驟6，輸入待檢索對象，并分別提取待檢索對象的特征向量以及跨媒體測試數據庫中與待檢索對象屬于不同模態的對象集的特征數據點集；

步驟7，對步驟6得到的特征向量和特征數據點集分別進行所述均值預處理；

步驟8，使用所述步驟4得到的線性投影向量a和b對經過均值預處理的特征向量和特征數據點集分別進行線性投影變換；

步驟9，計算待檢索對象的投影變量與對象集的投影變量之間的歐式距離，并對所有的歐式距離進行升序排序，前n個歐式距離對應的對象數據即是在所述跨媒體測試數據庫中檢索得到的與待檢索圖像相關的另一模態的對象。

2.根據權利要求1所述的方法，其特征在于，所述步驟1和6中，分別使用尺度不變特征變換算法和隱狄雷克雷分布算法對圖像和文本進行特征提取。

3.根據權利要求1所述的方法，其特征在于，所述步驟3中的線性投影變換表示為：

u＝a^Tx

，

v＝b^Ty其中，x和y分別為圖像與文本兩個模態特征數據點集對應的變量集合，a和b分別為對應的投影向量，u和v為經過線性投影變換得到的投影變量。

4.根據權利要求3所述的方法，其特征在于，根據得到的投影空間設定目標函數的步驟進一步包括以下步驟：

步驟3.1，計算投影空間中投影變量u和v的協方差cov(u，v)；

步驟3.2，計算圖像與文本兩個模態特征數據點集在投影空間中的類間方差和類內方差σ_B和σ_W；

步驟3.3，根據計算得到的協方差cov(u，v)、類間方差σ_B和類內方差σ_W設定目標函數。

5.根據權利要求4所述的方法，其特征在于，所述步驟3.1中，投影變量u和v的協方差cov(u，v)表示為：

cov(u,v)=aTbTΣab,]]>

其中，∑定義為此協方差的特征矩陣。