[發明專利]一種跨媒體間信息分析與檢索的方法無效

申請號：	201210180782.2	申請日：	2012-06-04
公開（公告）號：	CN102693321A	公開（公告）日：	2012-09-26
發明（設計）人：	路通;林婉霞	申請（專利權）人：	常州南京大學高新技術研究院
主分類號：	G06F17/30	分類號：	G06F17/30
代理公司：	江蘇圣典律師事務所 32237	代理人：	胡建華
地址：	213164 江蘇省常州市武***	國省代碼：	江蘇;32
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種媒體信息分析檢索方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【權利要求書】：

1.一種跨媒體間信息分析與檢索的方法，其特征在于，包含如下步驟：

（1）對多模態信息進行語義融合處理；

（2）根據概率潛在語義分析模型擴展得到用于處理連續特征向量的多層連續概率潛在語義分析模型；

（3）采用不對稱學習方法學習多層連續概率潛在語義分析模型，計算圖像的視覺特征向量分布、音頻的聽覺特征向量分布，以及主題概率分布；

（4）用戶提交測試的媒體對象作為檢索例子，計算檢索例子中圖像、音頻的模態內和模態間的初始相似度值；

（5）構建傳播模型，根據傳播模型更新模態內和模態間的相似度值；

（6）根據更新后的相似度值進行二次檢索。

2.根據權利要求1所述的一種跨媒體間信息分析與檢索的方法，其特征在于，步驟（1）包括如下步驟：

a)采集圖像庫、音頻庫：圖像和音頻的類別數以及每類的個數相同，令類別數為N；將音頻分割為時間長度為5~10s片段的音頻；把圖像庫和音頻庫的整體分為訓練集和測試集；

b)提取所有訓練集中圖像和音頻的特征，并生成多媒體文檔，包括如下步驟：

提取訓練集中所有圖像的SIFT特征，令視覺特征向量個數為N_I，用N_I個128維的視覺特征向量的集合表示每個圖像d^I，若圖像d^I中含該視覺特征向量則該維度值為1，否則為0，即每幅圖像都是由一組0、1值所組成的視覺特征向量組成；

提取訓練集中所有音頻的MFCC特征，令聽覺特征向量個數為N_A，用N_A個21維的聽覺特征向量的集合表示每個音頻d^A，其中若音頻d^A中含該聽覺特征向量則該維度值為1，否則為0，即每段音頻都是由一組0、1值所組成的聽覺特征向量組成；

對圖像庫、音頻庫進行歸類處理：生成N類由圖像與音頻共同組成的多媒體文檔，則將訓練集表示為D={D₁,...，D_c，...，D_N}，1<C<N，每個多媒體文檔D_c表示第C類圖像和音頻的集合。

3.根據權利要求2所述的一種跨媒體間信息分析與檢索的方法，其特征在于，步驟（2）包括如下步驟：

c)設置主題參數Z_k,k∈1,...,K,20<K<100；

d)構建多層連續概率潛在語義分析模型，學習多模態信息，模型中的觀察對為和其中D_c表示多媒體文檔，和為多媒體單詞，表示視覺特征向量，表示聽覺特征向量，i∈1，...N_I,j∈1，...,N_A；

使用主題參數Z_k表示多媒體文檔D_c和多媒體單詞和之間的關聯性；多媒體單詞和滿足多元高斯分布，即在主題參數z_k條件下的視覺特征向量分布和在主題參數z_k條件下的聽覺特征向量分布分別服從Dim^I維的高斯分布和Dim^A維的高斯分布Dim^I和Dim^A分別為視覺特征向量的維數和聽覺特征向量的維數，和分別為Dim^I維的均值向量和Dim^I×Dim^I協方差矩陣，和分別為Dim^A維的均值向量和Dim^A×Dim^A協方差矩陣。