[發明專利]基于視覺特征的視頻指紋檢測及視頻序列匹配方法及系統

有效

• 申請號: 201310608893.3
• 申請日: 2013-11-25
• 公開（公告）號: CN103593464B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 劉瓊;楊鈾;喻莉;吳偉民;高躍;于國星
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 華中科技大學專利中心42201
• 代理人: 李智

技術領域

本發明屬于視頻分析領域，尤其是涉及一種基于視覺特征的視頻指紋檢測及視頻序列匹配方法。

背景技術

隨著計算機技術及網絡的快速發展，網絡視頻數量正在急劇增長。與此同時，隨著視頻處理技術的發展，視頻編輯變得越發容易，針對視頻內容進行內容的刪減、分辨率改變、內容遮擋、內容替換、增加噪聲等等都增加對相關視頻內容檢測的困難。如何有效地建立視頻指紋從而能夠在存在一定視頻編輯的前提下仍然能夠檢測到相關視頻內容成為一項日益迫切的需求。

目前主要的視頻序列匹配方法主要可以分成兩類。第一種方法是全局的亮度分析方法。該方法通過對視頻幀的亮度分布進行分析，從而形成一種簡單的特征用于視頻比對。這種技術的優點是簡單，而且計算迅速，可以快速生成用以匹配的視頻指紋。缺點是該方法對視頻內容的一致性要求較高，當視頻內容經過編輯發生一定程度的變化時，該方法就無法檢測到相關的視頻。第二種方法基于運動軌跡的分析。這種方法首先獲得視頻序列的一些關鍵對象，并分析關鍵對象在整段視頻序列中的變化情況，并依此作為視頻指紋來進行相關視頻檢測。這類基于運動軌跡分析的方法能夠對關鍵對象進行跟蹤，從而相對基于全局亮度的方法魯棒性較好，但是其計算復雜度很高，需要對關鍵對象進行檢測并跟蹤，從而在效率上具有一定的局限性。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于視覺特征的視頻指紋檢測及視頻序列匹配方法及系統，其目的在于通過對視頻內容的關鍵信息進行有效描述，在不影響匹配率的情況下，大大降低了算法的復雜度，有效提高了檢測效率。

一種基于視覺特征的視頻指紋檢測方法，包括以下步驟：

（1）按照幀間相關性對視頻序列分段，在得到的每個視頻分段中提取最具有代表性的關鍵幀；

（2）分別在各關鍵幀中采樣，對采樣得到的像素點提取視頻特征；

（3）依據視頻特征，利用離線樣本聚類得到的像素點特征字典對采樣像素點分類；

（4）對各關鍵幀分別進行多次不同數量的分塊；在每次分塊得到的子塊中，依據采樣像素點的分類結果統計像素點特征字典各元素的出現次數，從而得到該子塊對應的特征向量；將統計得到的所有子塊特征向量拼接得到關鍵幀的高維視頻指紋；

（5）對各高維視頻指紋進行降維得到低維視頻指紋；

（6）將各視頻片段關鍵幀的低維視頻指紋按照時間先后順序連成關鍵幀視頻指紋串。

進一步地，所述步驟（1）按照幀間相關性對視頻序列分段，在得到的每個視頻分段中提取最具有代表性的關鍵幀的具體過程為：

計算視頻序列中相鄰兩幀間的色彩直方圖距離，將色彩直方圖距離歸一化處理后作為相鄰幀間的相關性度量；若相關性度量低于分段閾值，則將該相關性度量對應的相鄰幀間設為分割點；相鄰分割點之間的視頻劃分為一個視頻片斷。

進一步地，所述視頻特征為SIFT視頻特征、顏色直方圖、顏色矩、灰度統計特征、邊緣特征或角點特征。

進一步地，所述像素點特征字典是采用K均值聚類算法、凝聚層次聚類算法或DBSCAN聚類算法聚類得到。

進一步地，所述步驟（5）采用主成份分析法、獨立成分分析法、線性決策分析法或局部特性分析法對各高維視頻指紋進行降維得到低維視頻指紋。

總體而言，通過本發明所構思的以上技術方案與現有技術相比，本發明方法通過視頻幀的視覺相似性的變化，首先獲得多個連續的視頻片段，并為每一個視頻片段提取一個視頻關鍵幀。接下來對每個視頻關鍵幀進行具有空間位置信息描述的視頻指紋提取，這種空間位置信息以例如SIFT特征的形式被提取出來。與每一幀都提取視頻指紋相比，這種基于關鍵幀的視頻指紋提取，在基本不影響匹配率的情況下，大大降低了算法的復雜度，有效提高了運算效率。

進一步地，由于色彩直方圖距離描述了不同顏色在圖像中所占的比例，反映了圖像顏色的統計分布和基本色調。因此，本發明采用色彩直方圖距離來表征兩幀間的相關性，在低算法復雜度的條件下可以準確的對視頻進行分段。

本發明還提供了一種視頻序列匹配方法，具體為：針對待分析視頻序列和基準視頻序列，分別按照所述的視頻指紋檢測方法進行檢測，得到各自的關鍵幀視頻指紋串；采用串匹配方法對兩關鍵幀視頻指紋串進行匹配。

進一步地，所述采用串匹配方法對兩關鍵幀視頻指紋串進行匹配的具體實現過程為：

令待檢索視頻Q的關鍵幀集合表示為n_q為待檢索視頻Q的關鍵幀數目；基準視頻片段的關鍵幀集合表示為n_i為基準視頻片段Clip_i的關鍵幀數目；