[發明專利]音視頻內容檢索方法及系統

有效

• 申請號: 201210046176.1
• 申請日: 2012-02-27
• 公開（公告）號: CN103294696B
• 公開（公告）日: 2018-01-19
• 發明（設計）人: 張峰;黃偉
• 申請（專利權）人: 上海果殼電子有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京辰權知識產權代理有限公司11619
• 代理人: 張斯盾

技術領域

本發明涉及內容檢索技術領域，尤其涉及一種音視頻內容檢索方法及系統。

背景技術

隨著網絡和多媒體技術的迅猛發展，音視頻媒體的數量呈爆炸性增長，人們對數字音視頻內容進行準確有效地管理和訪問變得十分困難。近年來，基于內容的音視頻檢索出現了許多新的研究和發展方向，音視頻指紋技術應運而生。

音頻指紋(audio fingerprinting)技術在很早以前就被提出，例如，Jaap Haitsma和Ton Kalke在2002年音樂搜索進展國際會議上發表了“一種高可靠性的音頻指紋系統”(A Highly Robust Audio Fingerprinting System)，這種系統通過信號處理的方法，將音頻文件中每隔一段時間(例如11.6ms)的音頻信號，轉化為一個32比特(bit)大小的指紋(fingerprint)，通過這種方法一個音頻文件就可以被轉換為一個指紋文件，系統在對所有的音頻指紋文件做索引后，就可以快速的音頻指紋檢索了。

與音頻指紋技術原理相似，視頻指紋(video fingerprinting)系統將每一幀或者幾幀轉化為很小的指紋(例如32比特大小)，然后進行檢索。例如國際專利號為WO2007/127590A2的“Method and system for fingerprinting digital video object based on multiresolution，multirat and temporal signatures”公開了一種將視頻信號的每幀轉化為84比特或132比特的視頻指紋處理方法，通過這種方法一個視頻文件就可以被轉換成一個很小的指紋文件。

目前，音視頻指紋技術成為音視頻檢索的關鍵技術之一，現有的音視頻指紋系統通常是先對輸入的音視頻進行指紋特征提取，然后按照指紋特征的幀序，按順序在指紋數據庫中進行倒排索引的檢索，以快速高效的識別和檢索出音視頻內容。

然而，現有的音視頻指紋系統中，音視頻的碼率、格式和噪聲干擾會導致指紋特征變形，進而影響檢索性能。

發明內容

本發明的目的在于提供一種音視頻內容檢索方法，在基于音視頻指紋進行音視內容檢索時，能根據指紋的先驗容錯度進行音視頻片段的選擇，提高音視頻檢索的識別率。

為解決上述問題，本發明提供一種音視頻內容檢索方法，包括：

接收一音視頻片段；

提取該音視頻片段每一幀的指紋特征，獲得一輸入指紋序列；

計算所述輸入指紋序列中每幀指紋的抗干擾程度；

對所述輸入指紋序列中的每幀指紋，在包含該幀指紋在內的連續若干幀指紋中選出抗干擾能力最強的多個非連續幀指紋作為該幀指紋的待匹配指紋塊；

依次對所述輸入指紋序列中的每幀指紋，查詢出該幀指紋在一標準指紋數據庫中的位置，并計算該幀指紋所在的待匹配指紋塊與標準指紋塊的差異程度，當某幀指紋的差異程度小于預設值時，檢索到所述音視頻片段匹配的音視頻內容。

進一步地，提取該音視頻片段每一幀的指紋特征的步驟包括：

首先，對于固定采樣率的單聲道音視頻，按固定幀移，將音視頻分成若干毫秒的幀，加漢明窗；

然后，對每一幀做傅立葉變換，提取功率譜，將功率譜中某段頻帶采用對數刻度均勻分為互不相交的33個子帶，并計算每一幀的子帶能量；

接著，計算同一幀內相鄰兩子帶能量差分和相鄰兩幀同一子帶的能量差分，得到每一幀指紋特征值。

進一步地，計算所述輸入指紋序列中每幀指紋的抗干擾程度的公式為：Roubust(n)＝ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1)))，

其中Robust(n)表示第n幀指紋的抗干擾程度，E(n，m)表示第n幀的第m個子帶的能量。

進一步地，計算所述輸入指紋序列中每幀指紋的抗干擾程度的公式為：

其中Robust(n)表示第n幀指紋的抗干擾程度，

E_frame_sor＝sort_m＝1，32(ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1))))

E(n，m)表示第n幀的第m個子帶的能量，sort()表示排序。

進一步地，每一幀指紋的抗干擾程度通過頻譜值或色彩值來計算獲得。

進一步地，所述差異程度用比特位錯誤率BER(Bit Error Rate)表示，其計算公式如下：