[發明專利]多元化的視頻檢索方法

在審

• 申請號: 201610630331.2
• 申請日: 2016-08-04
• 公開（公告）號: CN107688571A
• 公開（公告）日: 2018-02-13
• 發明（設計）人: 劉春根;韓欣;應業敏;謝赟
• 申請（專利權）人: 上海德拓信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海天協和誠知識產權代理事務所31216
• 代理人: 沈國良

1.一種多元化的視頻檢索方法，其特征在于本方法包括如下步驟：

步驟一、選擇檢索方式，分別以文字檢索、圖片檢索、音頻檢索和視頻檢索方式對視頻進行檢索；

步驟二、根據不同的檢索方式做相應處理，獲取檢索信息，

a.文字檢索方式：直接以文字信息進行視頻檢索；

b.圖片檢索方式：首先判斷待檢索圖片樣本是否需要做優化處理，如果需要，則對待檢索的圖片樣本進行優化處理，然后獲取待檢索圖片樣本的顏色、紋理及形狀的特征值信息，如待檢索圖片樣本有人臉，則同時檢測人臉并獲取相關人臉信息；

c.音頻檢索方式：首先判斷待檢索音頻樣本是否需要優化處理，如果需要，則對待檢索音頻樣本進行優化處理，然后采用音頻解析技術將待檢索音頻樣本轉換成文字信息，并以特定格式進行保存；

d.視頻檢索方式：首先分別提取待檢索視頻樣本中的字幕流和視頻流，若存在字幕流，則將字幕流轉換成文字信息，并以特定格式保存，否則獲取音頻流，并按照音頻檢索方式對音頻流進行處理，同時提取出視頻流中的參考幀序列集，參考幀按照圖片檢索方式進行處理；

步驟三、設置人臉信息、文字信息和圖片特征值信息在視頻檢索中的權重值，按權重值設置視頻檢索策略；

步驟四、按檢索策略對待檢索視頻樣本進行檢索，獲得檢索結果。

2.根據權利要求1所述的多元化的視頻檢索方法，其特征在于：圖片檢索方式中，對待檢索圖片樣本進行的優化處理包括光照消弱、鋸齒消除、分辨率調整，獲取的人臉信息包括臉部特征、人臉在圖片中的位置、臉部的偏移角以及人臉的唯一標識碼。

3.根據權利要求2所述的多元化的視頻檢索方法，其特征在于：人臉唯一標識碼的獲取根據臉部特征在人臉庫中進行匹配，如果能匹配相似人臉，就以最優人臉的姓名對該人臉以及該人臉的相關信息進行標識；如果匹配失敗，就產生一個隨機的標識碼對該人臉以及該人臉的相關信息進行標識，同時將該人臉信息存入人臉庫。

4.根據權利要求2或3所述的多元化的視頻檢索方法，其特征在于：根據從圖片獲取的人臉信息進行視頻檢索時，匹配人臉信息和/或人臉的唯一標識碼。

5.根據權利要求1所述的多元化的視頻檢索方法，其特征在于：音頻檢索方式中，音頻優化處理包括將音頻的格式、編碼、碼率、聲道調整到特定值，對音頻進行降噪、回聲消除處理，音頻優化處理后的音頻格式為wav、編碼格式為pcm_s16le、碼率為1600k、聲道為單聲道。

6.根據權利要求1所述的多元化的視頻檢索方法，其特征在于：音頻檢索方式中，待檢索音頻樣本轉換成文字信息后保存的特定格式包括音頻解析成的文字內容以及該文字內容所對應的音頻播放時間段。

7.根據權利要求6所述的多元化的視頻檢索方法，其特征在于：根據音頻的文字信息進行視頻檢索時，匹配音頻的文字信息和/或該文字信息所對應的音頻播放時間段。

8.根據權利要求1所述的多元化的視頻檢索方法，其特征在于：視頻檢索方式中，字幕流轉換成文字信息后保存的格式包括字幕流的文字內容以及該文字內容出現在視頻中的時間信息。

9.根據權利要求1所述的多元化的視頻檢索方法，其特征在于：視頻檢索方式中，參考幀序列集的獲取方法為：1.取出視頻的前兩幀，以第一幀作為對比幀，算出該兩幀的相似度k_i；2.設定相似度閥值k₀，如果該相似度k_i大于閥值k₀，則取出視頻的下一幀與對比幀做相似度比較，如此重復，直至某一幀與對比幀的相似度小于閥值k_0,；3.將該幀保存到參考幀序列集，同時也將該幀作為對比幀，與后續視頻幀進行相似度比較；4.重復步驟2和3，直至視頻結束。

10.根據權利要求1所述的多元化的視頻檢索方法，其特征在于：設定人臉信息、文字信息和圖片特征值信息的權重值分別為s1、s2和s3，并設定視頻檢索方式中字幕流、音頻流和參考幀的相似度分別為q1、q2和q3，則視頻檢索的最終相似度為s1×q1＋s2×q2＋s3×q3。