[發明專利]融合不同模態信息實現媒體間交叉檢索的方法

無效

• 申請號: 200810061445.5
• 申請日: 2008-04-30
• 公開（公告）號: CN101303694A
• 公開（公告）日: 2008-11-12
• 發明（設計）人: 吳飛;莊越挺;王文華;楊易
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州求是專利事務所有限公司
• 代理人: 張法高

1.一種融合不同模態信息實現媒體間交叉檢索的方法，其特征在于包括如下步驟：

1)對超媒體建立關系圖并獲得對應的相關系數矩陣；

2)用戶提交數據庫內或數據庫外的媒體對象或超媒體作為查詢例子標注初始匹配度；

3)利用超媒體間的相關系數矩陣反復迭代至穩定狀態將匹配性傳播到未標注的超媒體，并返回匹配度大于0.6的超媒體或這些超媒體中的某種特定模態的媒體對象；

4)周期性地根據用戶的查詢例子集和正例集對超媒體對象關系圖進行調整。

2.根據權利要求1所述的一種融合不同模態信息實現媒體間交叉檢索的方法，其特征在于，所述的對超媒體建立關系圖并獲得對應的相關系數矩陣步驟如下：

1)建立超媒體對象間的音頻距離圖A，對任意兩個超媒體對象，若兩個超媒體對象都含有音頻對象，則計算這兩個超媒體對象間的音頻距離，在這兩個超媒體對象中各取一個音頻作為音頻對，計算兩個音頻的梅爾頻率倒譜系數MFCC，然后計算所有音頻對的底層特征距離，取特征距離最小的兩個音頻間的距離并做歸一化，作為這兩個超媒體對象的音頻距離，如果其中一個超媒體對象不含有音頻，則這兩個超媒體對象的音頻距離設為無窮大；

2)建立超媒體對象間的圖像距離圖I，對任意兩個超媒體對象，若兩個超媒體對象都含有圖像，則計算這兩個超媒體對象間的圖像距離，在這兩個超媒體對象中各取一個圖像作為圖像對，對這兩個圖像提取顏色和紋理特征，然后計算歐氏距離，取特征距離最小的圖像對的距離做歸一化，作為這兩個超媒體對象的圖像距離，如果其中一個超媒體對象不含有圖像，則這兩個超媒體對象的圖像距離設為無窮大，對數據集內的所有圖像提取顏色特征和紋理特征，其中顏色特征包括顏色直方圖、顏色矩和顏色聚合向量，紋理特征包括粗糙度、方向性和對比度；

3)建立超媒體對象間的文本距離圖T，對任意兩個超媒體對象，若兩個超媒體對象都含有文本，則計算這兩個超媒體對象間的文本距離，對超媒體對象內的文本對象采用詞匯頻率/逆文檔頻率方法進行矢量化，計算所有文本對象兩兩之間的歐式距離，并將所有的距離歸一化，取兩個超媒體對象間特征距離最小的文本特征距離作為這兩個超媒體對象的特征距離，如果其中一個超媒體對象不含有文本，則這兩個超媒體對象的文本距離設為無窮大；

4)調整超媒體對象的音頻距離圖A、圖像距離圖I和文本距離圖T，分別在這三個圖上計算任意兩點間的最短路徑，并用最短路徑替代原來兩點間的邊的權重；

5)構造超媒體對象距離圖，統計用音頻、圖像和文本單獨查詢的查準率分別記為P_a、P_i和P_t，超媒體對象距離圖中每個頂點代表一個超媒體對象，邊代表兩個超媒體對象間的距離，令歸一系數γ＝1/(p_a+p_i+p_t)，超媒體對象距離圖第i個和第j個點距離公式是γ×(A_ij×P_a+I_ij×P_i+T_ij×P_t)；

6)令數據集中有n個超媒體對象，建立矩陣C_n×n以表示任意兩個超媒體對象間的語義關系。C_ij表示矩陣C中第i行第j列的元素，如果i和j值相等，令C_ij值為零，否則C_ij值為exp(-HMG_ij²/2σ²)，其中HMG_ij表示媒體對象距離圖中連接序號分別為i和j的媒體對象的邊權重，σ是可調節的參數。

3.根據權利要求1所述的一種融合不同模態信息實現媒體間交叉檢索的方法，其特征在于，所述的用戶提交數據庫內或數據庫外的媒體對象或超媒體作為查詢例子標注初始匹配度的步驟如下：

1)如果用戶提交的是數據庫內的媒體對象或超媒體，在數據庫中找到該對象并將該對象和查詢輸入的匹配度標注成1；

2)如果用戶提交的是數據庫外的媒體對象或超媒體，計算數據庫中所有媒體對象和查詢例子中包含的媒體對象的底層特征距離，根據底層特征距離，找到數據庫內和查詢例子最接近的k個媒體對象，將這些媒體對象所隸屬的超媒體相對于查詢例子的匹配度都標識成1。

4.根據權利要求1所述的一種融合不同模態信息實現媒體間交叉檢索的方法，其特征在于，所述的利用超媒體間的相關系數矩陣反復迭代至穩定狀態將匹配性傳播到未標注的超媒體步驟如下：根據已標注矩陣Y_n×1＝[y₁，y₂…y_n]^T其中y_i對應的第i個超媒體對象和查詢例子的匹配度，利用公式Y^*＝(1-α)(I-αC)^-1Y(0)求出所有媒體對象在迭代穩定后與輸入例子的匹配度，并返回匹配度大于0.6超媒體對象或其包含的媒體對象。