[發明專利]音頻、視頻內容的搜索方法

有效

• 申請號: 200810042858.9
• 申請日: 2008-09-12
• 公開（公告）號: CN101673267A
• 公開（公告）日: 2010-03-17
• 發明（設計）人: 連惠城;程建章
• 申請（專利權）人: 未序網絡科技（上海）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海金盛協力知識產權代理有限公司
• 代理人: 段迎春

技術領域

本發明涉及音頻、視頻內容的搜索方法。

背景技術

隨著互聯網的發展，搜索引擎成為人們上網必不可少的工具之一。傳統的搜索引擎都是 基于文本搜索(Text?Search)，稱為是文本搜索引擎。其原理是：搜索引擎服務器收集大量 的網頁；并根據已有的規則提取網頁中的文本并做分詞(Word?Segmentation)處理，常見的 分詞方法，例如：基于字符串匹配的分詞方法、基于理解的分詞方法和基于統計的分詞方法； 文本搜索引擎利用文本詞庫做索引表用于快速搜索。用戶在進行搜索的時候，將文本輸入到 服務器，服務器對該文本進行分詞處理后，根據索引表進行快速的搜索，然后返回結果。

目前，搜索引擎都是基于文本的，即使是一些搜索圖片或視頻的搜索引擎也是通過圖片 或視頻節目的名稱、說明、介紹、標簽等文本信息進行搜索的。搜索引擎還沒有直接通過音 視頻的信號內容進行搜索的。這里，我們所說的音視頻是指音頻文件或者視頻文件。通常視 頻文件包含音頻信號流和視頻信號流。

音頻指紋(audio?fingerprinting)在很早以前就被提出來，例如，Jaap?Haitsma和Ton Kalke在2002年音樂搜索進展國際會議(Proceedings?of?International?Conference?on?Music Information?Retrieval)上發表了“一種高可靠性的音頻指紋系統”(A?Highly?Robust?Audio Fingerprinting?System)。這種系統通過信號處理的方法，將音頻文件中每隔一段時間(例 如11.6ms)的音頻信號，轉化為一個32比特(bit)大小的指紋(fingerprint)，通過這種方法 一個音頻文件就可以被轉換成一個指紋文件。系統在對所有的音頻指紋文件做索引表后，就 可以進行快速的音頻指紋檢索了。

和音頻指紋系統原理相似地，視頻指紋(video?fingerprinting)系統將每一幀(frame) 或者幾幀轉化為很小的指紋(例如32比特大小)，然后進行檢索。例如國際專利號為 WO2007/127590A2的“基于多分辨率，多幀率和時域信號的數字視頻指紋處理方法和系統” (Method?and?system?for?fingerprinting?digital?video?object?based?on?multiresolution， multirate?and?temporal?signatures)公開了一種將視頻信號的每幀轉化為84比特或132比 特的視頻指紋處理方法。通過這種方法一個視頻文件就可以被轉換成一個很小的指紋文件。

在音頻指紋或視頻文件數目較少(例如1萬個)的情況下，可以將所有的指紋文件存入到 計算機內存中，進行索引后，可方便地進行快速的檢索。上述“一種高可靠性的音頻指紋系 統”即給出了這種方法的詳細步驟。然而，在實際情況下，視頻文件的數目要遠遠超過一萬 的數目。例如，目前在互聯網上出現的視頻文件數目超過一千萬數目，而且數量在不斷增長。 因此采用這種方法很難做出實用的搜索引擎。

發明內容

為了解決上述技術問題，本發明提供一種音頻、視頻內容的搜索方法。

本發明采用如下技術方案：

一種音頻、視頻內容的搜索裝置，包括：

判斷模塊，用于判斷當前流媒體文件是否包括音頻文件和視頻文件；

音頻指紋提取模塊，與所述判斷模塊相連接，用于提取多個音頻文件的音頻指紋；

音頻指紋分詞模塊，與所述音頻指紋提取模塊相連接，用于對提取的音頻指紋進行分詞；

音頻索引生成模塊，與所述音頻指紋分詞模塊相連接，用于根據分詞結果生成音頻指紋 索引；

視頻指紋提取模塊，與所述判斷模塊相連接，用于提取多個視頻文件的視頻指紋；

視頻指紋分詞模塊，與所述視頻指紋提取模塊相連接，用于對提取的視頻指紋進行分詞；

視頻索引生成模塊，與所述視頻指紋分詞模塊相連接，用于根據據分詞結果生成視頻指 紋索引；

搜索模塊，與所述音頻索引生成模塊和視頻索引生成模塊相連接，利用所述音頻指紋索 引搜索匹配的音頻文件，利用所述視頻指紋索引搜索匹配的視頻文件。

進一步地，所述搜索模塊包括：

輸入判斷模塊，用于判斷輸入的需要檢索的流媒體文件或流媒體文件片段，是否包括音 頻文件和視頻文件：