[發明專利]多元化的視頻檢索方法

在審

• 申請號: 201610630331.2
• 申請日: 2016-08-04
• 公開（公告）號: CN107688571A
• 公開（公告）日: 2018-02-13
• 發明（設計）人: 劉春根;韓欣;應業敏;謝赟
• 申請（專利權）人: 上海德拓信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海天協和誠知識產權代理事務所31216
• 代理人: 沈國良

技術領域

本發明涉及一種多元化的視頻檢索方法。

背景技術

隨著計算機網絡的發展，以及多媒體技術的推廣應用，各種多媒體數據源源不斷的產生，其中以視頻居多。而視頻是一種數據量大，信息不定長且結構復雜的一種數據，其不像文字或者數字一樣一目了然，并很難用一些文字或者數字去描述，如圖片中的顏色、形狀和紋理，視頻中的運動形態，音頻中的音調等。當欲采用這些比較抽象的特征去對視頻進行檢索時，必須要人為的將這些特征信息轉化為易于被人們理解的文字或者數字，而這種轉換無疑是一件既耗時又耗力的事情。于是，業界紛紛提出了各自的視頻檢索解決方法。

基于內容的視頻檢索技術是目前比較主流的視頻檢索方法，它通過從視頻中取出部分關鍵幀，并獲取其顏色、紋理等特征值，然后根據獲取的特征值來對視頻進行對比并得到相似度，最后將相似度最高的視頻檢索出來。這些方法雖然能在一定程度上對視頻進行檢索，但是還有些不足之處：（1）檢索形式單一，幾乎千篇一律的通過上傳圖片或者視頻的方式提供檢索樣本，然后根據樣本的顏色、形狀特征信息進行檢索；（2）效率低，資源消耗大，由于檢索視頻的過程中，要對視頻進行相似度計算，而視頻一般都是比較大的數據量，這樣便導致對一個視頻進行相似度計算會非常慢而且很耗資源；（3）以文字查詢時，不便于組織關鍵詞，通常視頻檢索時，更多的是依據人類的高級語義特征進行組詞，如奧運會，世界杯等特征詞，基本不會采用紅色、矩形這些顏色、紋理特征詞來對視頻進行檢索，而且用這些顏色、紋理特征詞檢索出來的視頻恐怕也找不到想要的結果；（4）檢索方式與慣用的查詢方式差別較大，目前視頻檢索方式多是客戶提供一個視頻段或者一張視頻截圖作為樣本，然后根據顏色、紋理特征的相似度比較，返回與待查詢樣本相似度最高的視頻，如此，便面臨著兩個問題，一是習慣用文字來進行檢索，二是待查詢視頻鏡頭或視頻幀從哪里獲取；（5）檢索出來的結果顯示簡單，幾乎不能根據檢索策略來篩選檢索出來的結果。

基于語音提取的視頻檢索技術是目前興起的另一個視頻檢索方法，它通過將音頻從視頻中提取出來，再用語音識別技術將提取出來的音頻轉換成文字，利用轉換出來的文字對視頻進行檢索。這種視頻檢索方法解決了基于內容的視頻檢索方法中的效率低、資源消耗大以及不能通過文字對視頻進行檢索的缺點，但該檢索方法導致了新的問題：（1）語音識別的適用范圍比較窄，語音識別技術雖然能將音頻轉換成文本，但是，如果待識別的音頻質量不好的話，會導致語音識別的準確率非常低，甚至識別不出來，如音頻的背景音樂太大、音頻有回音、音頻音量太低或是音頻的編碼不被支持等；（2）檢索準確率比較低，由于語音識別的適用范圍比較窄，當入庫的視頻包含的音頻質量比較差時，會導致視頻信息基本沒有建立索引，或者所建立的索引正確率極低，進而導致檢索結果錯誤；（3）單純的以文字記錄，不利于檢索的精確度，視頻一般都具有較大的時長，如一般的新聞報道，如果每秒說2個字，10分鐘就是1200個字，一個小時更是達到7200個字，在這么大的基數下，也一定程度提高了其在視頻中覆蓋面的廣度，這會導致在輸入檢索條件后，輸出一大堆不相關的結果。

發明內容

本發明所要解決的技術問題是提供一種多元化的視頻檢索方法，本方法集內容比較、音頻解析、字幕提取和人臉識別技術為一體的多元化視頻檢索手段，克服了傳統視頻檢索方式的缺陷，降低了資源消耗，有效提高了檢索效率及準確性。

為解決上述技術問題，本發明多元化的視頻檢索方法包括如下步驟：

步驟一、選擇檢索方式，分別以文字檢索、圖片檢索、音頻檢索和視頻檢索方式對視頻進行檢索；

步驟二、根據不同的檢索方式做相應處理，獲取檢索信息，

a.文字檢索方式：直接以文字信息進行視頻檢索；

b.圖片檢索方式：首先判斷待檢索圖片樣本是否需要做優化處理，如果需要，則對待檢索的圖片樣本進行優化處理，然后獲取待檢索圖片樣本的顏色、紋理及形狀的特征值信息，如待檢索圖片樣本有人臉，則同時檢測人臉并獲取相關人臉信息；

c.音頻檢索方式：首先判斷待檢索音頻樣本是否需要優化處理，如果需要，則對待檢索音頻樣本進行優化處理，然后采用音頻解析技術將待檢索音頻樣本轉換成文字信息，并以特定格式進行保存；

d.視頻檢索方式：首先分別提取待檢索視頻樣本中的字幕流和視頻流，若存在字幕流，則將字幕流轉換成文字信息，并以特定格式保存，否則獲取音頻流，并按照音頻檢索方式對音頻流進行處理，同時提取出視頻流中的參考幀序列集，參考幀按照圖片檢索方式進行處理；