[發明專利]視頻分割方法和裝置

有效

• 申請號: 201810068616.0
• 申請日: 2018-01-24
• 公開（公告）號: CN108182421B
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 吉長江
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 柴國偉

本申請公開了一種視頻分割方法和裝置，該方法包括：全局特征分析步驟、局部特征分析步驟和鏡頭分割步驟，其中，全局特征分析步驟基于顏色空間計算視頻的每一幀與該幀的前一幀之間的第一相似度，根據第一相似度確定新鏡頭的候選起始幀；局部特征分析步驟分別計算所述候選起始幀與其前一幀中關鍵點的描述子到視覺詞的距離值，將描述子與視覺詞相對應，分別構建視覺詞直方圖，計算第二相似度；鏡頭分割步驟對所述第二相似度進行判斷，對候選起始幀進行歸并和確認。該方法將全局特征分析和局部特征分析相結合，在使用全局特征衡量鏡頭變化的同時，進一步參考畫面的局部特征，解決了鏡頭分割不準確的問題。

技術領域

本申請涉及圖像處理領域，特別是涉及視頻圖像自動化處理等領域。

背景技術

鏡頭是攝像機的一個連續拍攝過程，表示了一個時間或空間上連續的動作。視頻由幀畫面組成，一組連續的幀可以構成一個鏡頭，若干連續且相關的鏡頭構成一個視頻場景，而語義相關的一組視頻場景即構成基本的敘事情節片段。可見，鏡頭在這個層次關系中處于非常基礎而且重要的位置。隨著多媒體、數字電視、網絡視頻應用的發展，對于視頻數據結構化的需求應運而生，而尋求一個有效的算法對視頻進行鏡頭切分，是諸如視頻分析與檢索等后續處理工作的基本要求。

常見的鏡頭分割方法一般都是基于顏色空間的變化幅度，例如，考慮相鄰兩幀每個像素位置的RGB(紅綠藍)顏色或HSV(Hue,Saturation,Value，色調、飽和度、明度)顏色的差異，若其合計超過一個預先設定的閾值，則認為在此處發生了鏡頭的切換；也有的算法提取視頻中每一幀的RGB或HSV顏色直方圖，然后通過在窗口函數中計算前半部分和后半部分的概率分布，若兩個概率不同則認為此時的窗口中心為鏡頭邊界。但是不管是哪種方法、不管采用RGB顏色空間還是HSV顏色空間，都限于畫面的全局特征，不能反映畫面的細節特征的異同，在應用中效果不佳。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種視頻分割方法，所述方法包括：

全局特征分析步驟：基于顏色空間計算視頻的每一幀與該幀的前一幀之間的第一相似度，將所述第一相似度與第一閾值進行比較，若所述第一相似度小于所述第一閾值，則將該幀作為新鏡頭的候選起始幀；

局部特征分析步驟：分別計算所述候選起始幀與其前一幀中關鍵點的描述子到每一個視覺詞的距離值，將描述子與所述距離值最小的視覺詞相對應，基于描述子和對應的視覺詞，分別構建所述候選起始幀和其前一幀的視覺詞直方圖，計算視覺詞直方圖之間的第二相似度，其中，所述視覺詞采用視覺詞計算步驟得到：

視覺詞計算步驟：提取所述視頻的幀的關鍵點，生成與所述關鍵點的每一個相對應的描述子，對所述描述子進行聚類，得到若干個視覺詞；和

鏡頭分割步驟：對所述第二相似度進行判斷，若所述第二相似度大于或者等于第二閾值，則將所述候選起始幀和其前一幀歸并為同一個鏡頭，若所述第二相似度小于所述第二閾值，則將所述候選起始幀確定為新鏡頭的起始幀。

該方法將全局特征分析和局部特征分析相結合，在使用全局特征衡量鏡頭變化的同時，進一步參考畫面的局部特征，解決了鏡頭分割不準確的問題。

可選地，所述視覺詞計算步驟包括：

利用Harris(哈里斯)算法提取所述幀的角點作為關鍵點；

利用SIFT(Scale-invariant feature transform，尺度不變特征轉換)算法生成與所述關鍵點的每一個相對應的描述子；和

利用K-means方法對所述描述子進行聚類，得到若干個簇，對于每個簇，計算所述視覺詞。

通過該方法采用視覺詞計算步驟能得到穩定的視覺詞分類，從而使局部特征分析步驟的結果更加準確。