[發明專利]一種視頻中周期性結構片段檢測的方法及系統

有效

• 申請號: 200810225562.0
• 申請日: 2008-11-05
• 公開（公告）號: CN101404030A
• 公開（公告）日: 2009-04-08
• 發明（設計）人: 黃慶明;張維剛;蔣樹強;高文
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04N5/222
• 代理公司: 北京律誠同業知識產權代理有限公司
• 代理人: 梁 揮;祁建國

技術領域

本發明涉及視頻結構化及內容分析領域，尤其涉及一種視頻中周期性結構片段檢測的方法及系統。

背景技術

隨著各種數字視頻攝錄設備的小型化、高速化及普及化，每天都有數量巨大的視頻數據產生，但由于這些數據以非結構化形式存在并且數量巨大，所以如何快速有效的管理和訪問這些視頻內容便成為目前視頻應用的一個瓶頸。該瓶頸的突破口就在于新的視頻自動化分析處理技術。該類技術包括視頻結構化分析、視頻內容分析、視頻精彩摘要、基于內容的視頻索引和檢索。

一般而言，視頻結構化分析是視頻內容分析等后續應用處理的第一步。

下面對現有技術中的鏡頭、子鏡頭、關鍵幀和周期性結構片段進行詳細說明。

鏡頭，是由攝像機一次不間斷拍攝中所得到的一系列連續視頻幀組成，在時間和空間上表示一個連續的動作。

子鏡頭，是指比鏡頭顆粒度更小視頻結構單元，一個鏡頭或一小段視頻可以被劃分為一個或多個子鏡頭，劃分標準是視頻視覺內容的統一性。也就是說，子鏡頭相對于鏡頭所包含的視覺內容更緊湊、更單一。

關鍵幀，是指可以用來代表鏡頭或子鏡頭內容的重要視頻幀。

周期性結構片段，是指包含一個完整動作或事件并在視頻中反復多次近似重復出現的結構片段，周期性結構片段構成視頻主體內容并具有豐富語義。周期性結構片段本身是由一系列的關鍵子鏡頭組成。

根據拍攝對象、娛樂形式、應用場所的不同，視頻可以分為電影、家庭視頻、音樂視頻、體育視頻、監控視頻和新聞視頻等。不同類型的視頻因為所拍攝相機數、拍攝地點、拍攝手法的不同，而展現出不同的結構特性來。

以體育視頻為例，運動員的動作畫面是構成體育視頻的最主要內容。運動員往往都是依次在相對固定的場地或器材上進行動作展示，有著確定的時序結構，不同的運動員所展示的動作形式也基本上相類似，并且這些動作畫面一般都是通過位置相對固定的某個攝像機拍攝成體育視頻的，因此，從整段體育視頻上來看，不同運動員的展示動作片段具有很高的相似性，呈現出周期性模式。以體育視頻中的射箭運動視頻來說，每個運動員的完整比賽動作都是由“亮相準備→拉弓瞄準放弦→射中箭靶”組成。一個運動員完成動作后，另一個運動員按同樣動作次序完成比賽，上述動作畫面周期性出現；對應的，在射箭視頻中，由“準備→拉弓瞄準放弦→箭靶”一系列子鏡頭畫面所構成的完整射箭動作結構片段也為周期性出現。

再比如，在跳水運動中，運動員的完整動作由“跳臺或跳板上亮相準備→起跳→空中姿態動作→入水→得分”組成，在整個比賽過程中，運動員按比賽輪次交替出現，跳水動作過程周期性出現；對應的，在跳水視頻中，由“準備→起跳→空中跳水動作→入水→得分”一系列子鏡頭畫面所構成的完整跳水動作結構片段也是周期性出現。

同樣，在監控視頻中，一些結構片段也呈現出一定的周期性，比如說在銀行柜臺前面的監控攝像頭所拍下的視頻里，構成視頻最主要內容的客戶辦理業務的畫面結構片段是周期性出現的。在新聞視頻中，播音員畫面結構片段是周期性出現。

上面給出的體育、監控、新聞等視頻的共同特征是，均具有較好的結構性，內容上呈現出一定的單一性，拍攝相機、拍攝地點相對固定，視頻主要內容由具有豐富語義的周期性結構片段組成。可以利用這些共同特征來對這類結構性很好的視頻進行結構化分析及內容語義分析。

對于后續高級應用處理，如視頻瀏覽、索引、檢索、精彩程度排序、視頻摘要、視頻增強，需要將上述周期性片段從視頻中檢測出來。

發明內容

為解決上述問題，本發明提供了一種視頻中周期性結構片段檢測的方法及系統，用于從視頻中檢測出周期性結構片段。

本發明公開了一種視頻中周期性結構片段檢測的方法，包括：

步驟1，從所述視頻中刪除重放片段；

步驟2，以子鏡頭為單元對所述視頻進行分解；

步驟3，依據被分解出的子鏡頭間的相似度的距離對所述子鏡頭進行聚類；

步驟4，根據所述子鏡頭在所述視頻中的位置及所述子鏡頭所屬的子鏡頭類，確定構成周期性結構片段的關鍵子鏡頭序列，并從所述視頻中匹配出所有所述關鍵子鏡頭序列。

所述步驟1進一步為：

步驟21，查找出所述視頻的重放片段的起始幀和結束幀；

步驟22，依據所述起始幀的幀號和所述結束幀的幀號，將所述重放片段從所述視頻中刪除。

所述步驟2進一步為：

步驟31，對所述視頻進行子鏡頭邊界檢測，以獲得子鏡頭的起始幀的位置和結束幀的位置；