[發明專利]融合不同模態信息實現媒體間交叉檢索的方法

無效

• 申請號: 200810061445.5
• 申請日: 2008-04-30
• 公開（公告）號: CN101303694A
• 公開（公告）日: 2008-11-12
• 發明（設計）人: 吳飛;莊越挺;王文華;楊易
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州求是專利事務所有限公司
• 代理人: 張法高

技術領域

本發明涉及不同模態間媒體的交叉檢索，尤其涉及一種融合不同模態信息實現媒體間交叉檢索的方法。

背景技術

Web的發展伴隨著信息數量的急劇增長，面對如此巨大的數據量，檢索已經成為人們獲取信息的重要手段，單純的文本檢索已經不能滿足用戶日益復雜的需求，用戶希望通過檢索能獲得的不只是文本數據還包括圖像、視頻、音頻、Microsoft?PowerPoint格式的幻燈片等不同模態的數據。而現有的多媒體對象的檢索一般通過人工標注和底層特征的匹配來實現，但這種方法需要大量的手工標注，由于數據量的基數巨大并且數據一直以極高的速度增長，以標注作為基礎的多媒體搜索只適合在有限數據量的小范圍內使用；基于多媒體對象的底層特征的匹配檢索雖然不需要大量的人工投入，但由于底層特征和語義間存在著鴻溝，例如視覺上相似的圖像可能表示著完全不同的語義，而語義上相同的圖像可能看起來完全不一樣，因此融合底層特征和語義的檢索方法有非常重要的意義。

目前沒有辦法直接得到媒體對象的語義，因此只能充分利用媒體對象之間的語義關系來實現基于語義和特征的檢索。現實中的媒體對象一般不是獨立存在的，而是以附屬于超媒體的形式存在，這里的超媒體指的是包含有多種模態的媒體對象的對象，例如網頁和幻燈片等。對于網頁中的圖像，雖然不能直接得到它的語義，但是一般情況下它和網頁中的其他媒體對象及文本之間存在著相似的或互補的語義關系。利用同個超媒體中的媒體對象之間的語義關系，可以跨越不同模態媒體對象底層特征上的鴻溝，從而建立基于底層特征和語義相關性的超媒體對象的關系網。建立了超媒體對象的關系網，用戶可以通過媒體對象或超媒體來查詢想要的媒體對象和超媒體，例如可以通過提交網頁或圖像來檢索語義相似的視頻，因此實現媒體對象間的交叉檢索很有意義。

發明內容

本發明的目的是克服現有技術的不足，提供一種融合不同模態信息實現媒體間交叉檢索的方法。

融合不同模態信息實現媒體間交叉檢索的方法包括如下步驟：

1)對超媒體建立關系圖并獲得對應的相關系數矩陣；

2)用戶提交數據庫內或數據庫外的媒體對象或超媒體作為查詢例子標注初始匹配度；

3)利用超媒體間的相關系數矩陣反復迭代至穩定狀態將匹配性傳播到未標注的超媒體，并返回匹配度大于0.6的超媒體或這些超媒體中的某種特定模態的媒體對象；

4)周期性地根據用戶的查詢例子集和正例集對超媒體對象關系圖進行調整。

所述的對超媒體建立關系圖并獲得對應的相關系數矩陣步驟如下：

1)建立超媒體對象間的音頻距離圖A，對任意兩個超媒體對象，若兩個超媒體對象都含有音頻對象，則計算這兩個超媒體對象間的音頻距離，在這兩個超媒體對象中各取一個音頻作為音頻對，計算兩個音頻的梅爾頻率倒譜系數MFCC，然后計算所有音頻對的底層特征距離，取特征距離最小的兩個音頻間的距離并做歸一化，作為這兩個超媒體對象的音頻距離，如果其中一個超媒體對象不含有音頻，則這兩個超媒體對象的音頻距離設為無窮大；

2)建立超媒體對象間的圖像距離圖I，對任意兩個超媒體對象，若兩個超媒體對象都含有圖像，則計算這兩個超媒體對象間的圖像距離，在這兩個超媒體對象中各取一個圖像作為圖像對，對這兩個圖像提取顏色和紋理特征，然后計算歐氏距離，取特征距離最小的圖像對的距離做歸一化，作為這兩個超媒體對象的圖像距離，如果其中一個超媒體對象不含有圖像，則這兩個超媒體對象的圖像距離設為無窮大，對數據集內的所有圖像提取顏色特征和紋理特征，其中顏色特征包括顏色直方圖、顏色矩和顏色聚合向量，紋理特征包括粗糙度、方向性和對比度；

3)建立超媒體對象間的文本距離圖T，對任意兩個超媒體對象，若兩個超媒體對象都含有文本，則計算這兩個超媒體對象間的文本距離，對超媒體對象內的文本對象采用詞匯頻率/逆文檔頻率方法進行矢量化，計算所有文本對象兩兩之間的歐式距離，并將所有的距離歸一化，取兩個超媒體對象間特征距離最小的文本特征距離作為這兩個超媒體對象的特征距離，如果其中一個超媒體對象不含有文本，則這兩個超媒體對象的文本距離設為無窮大；

4)調整超媒體對象的音頻距離圖A、圖像距離圖I和文本距離圖T，分別在這三個圖上計算任意兩點間的最短路徑，并用最短路徑替代原來兩點間的邊的權重；