[發明專利]一種多媒體信息模糊檢索方法

有效

• 申請號: 201110073048.1
• 申請日: 2011-03-25
• 公開（公告）號: CN102136001A
• 公開（公告）日: 2011-07-27
• 發明（設計）人: 伍昕;吳鵬;劉趙杰
• 申請（專利權）人: 天脈聚源(北京)傳媒科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及多媒體技術領域，尤其涉及一種多媒體信息模糊檢索方法。

背景技術

伴隨信息時代的發展、多媒體資料的增多，新聞廣播節目日益呈現海量化的規模。相對比傳統的報紙、雜志、書籍等文本信息，以及先進的互聯網的豐富文本信息，音視頻數據等多媒體資料具有更加豐富、生動的展現形式，也更有利于人們輕松地接受。但是，由于多媒體資料的多和雜，如何便捷的獲取感興趣的內容成為一個亟待解決的課題。通常做的方法是，用人工對這些資料進行信息提取，這樣做很費時費力，因此近年來涌現了很多基于人工智能的技術來應用于該領域，其中最熱門的就是語音識別技術。語音識別技術是一種語音到文本的轉換技術，而變成了文本之后，就可以利用搜索技術進行全方位的索引和檢索。

然而，語音識別技術并不是一個完全可靠的技術，針對其中的識別錯誤進行彌補來修正檢索技術，是非常有必要的。隨著自動語音識別技術的實用化和開源化，很多公司著手買入或者搭建適合自己領域和需求的自動語音識別系統。利用語音識別技術對音視頻資料中的文本進行識別，就可以獲得該段資料中的文本信息，把這些文本信息輸入到數據庫中，就可以方便的進行檢索。

常規的語音識別技術只能給出識別的最終漢字信息，一方面在具體索引詞的定位精度上需要人工的判斷、費時費力，另一方面受到語音識別性能的限制，索引和搜索的準確率也是很難控制的。例如某處北京被識別成了“畢竟”，那么當用戶向搜索“北京”時就找不到這里了。有時候，“北京”可能被發成“北津”或者“北驚”，也是無法找到的。因此，傳統的基于文本搜索的技術，性能將會受到語音識別的影響。

發明內容

本發明的目的在于提出一種多媒體信息模糊檢索方法，能夠最大限度地增加檢索到的數量，并在保證系統性能的前提下，極大提高檢索速度。

為達此目的，本發明采用以下技術方案：

一種多媒體信息模糊檢索方法，包括以下步驟：

A、采集音視頻數據；

B、獲取音頻數據的Lattice結果，包括時間點信息和匹配似然值打分信息，并轉成多候選信息；

C、根據時間點信息和匹配似然值打分信息，獲得置信度打分信息；

D、采用更強的語音模型對多候選信息進行重新排序，并給出最優識別結果；

E、采用多候選信息、時間點信息和置信度打分信息建立字詞級和音素級索引庫，構成后向索引庫，并將原始信息進行編碼生成原始信息庫；

F、輸入待檢索文本和時間點信息，將待檢索文本轉成音素序列，并利用音素混淆矩陣，獲得類似的音素序列，拆分成不少于1個音素組合；

G、字和音素序列分別進入后向索引庫進行查詢，獲得一組原始信息庫的入口位置以及對應的置信度打分信息，按照置信度打分信息高低依次返回；

H、分別進入到原始信息庫進行精確匹配，根據入口個數和置信度打分信息選擇置信度閾值，返回大于置信度閾值的候選位置。

步驟A還包括以下步驟：

將音頻數據格式轉成WINDOWS?WAV格式，采樣率為16千赫。

步驟A中，采用電腦和電視卡的方式采集電視節目中的音頻數據；采用收音機和聲卡的方式采集廣播信號中的音頻數據。

步驟F中，根據字轉音方式將待檢索文本轉成音素序列。

采用了本發明的技術方案，針對可能出現的語音識別錯誤類型，利用其在音素級別的相似性，并通過音素混淆矩陣引入的模糊化，能夠最大限度的增加檢索到的數量，同時針對音素級別重復率高的問題，引入多個音素組合建索引的方式，在保證系統性能的前提下，大大提高了檢索速度。

附圖說明

圖1是本發明具體實施方式中多媒體信息模糊檢索的流程圖。

具體實施方式

下面結合附圖并通過具體實施方式來進一步說明本發明的技術方案。

圖1是本發明具體實施方式中多媒體信息模糊檢索的流程圖。如圖1所示，該多媒體信息檢索流程包括以下步驟：

步驟101、采集音視頻數據。采用電腦和電視卡的方式采集電視節目中的音頻數據，采用收音機和聲卡的方式采集廣播信號中的音頻數據，然后將音頻數據格式轉成WINDOWS?WAV格式（pcm無壓縮），采樣率為16千赫。

由于電視卡以及聲卡錄制的格式是確定的，只需要針對特定格式進行編程轉碼即可。

步驟102、獲取音頻數據的Lattice結果，包括時間點信息、靜音信息和匹配似然值打分信息，并轉成多候選信息。