[發明專利]一種基于全局運動統計特征的團隊體育視頻關鍵幀提取方法

在審

• 申請號: 202110204179.2
• 申請日: 2021-02-24
• 公開（公告）號: CN113032631A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 毋立芳;袁元;盧哲;楊洲;簡萌;李則昱;朱青青
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06K9/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

一種基于全局運動統計特征的團隊體育視頻關鍵幀提取方法屬于視頻分析領域。首先對視頻進行預處理，以鏡頭為單位切分視頻并提取比賽鏡頭將其結構化；然后估計視頻幀對應的全局運動，并計算視頻幀對應的全局運動統計特征；進一步基于鏡頭的水平平移量，將鏡頭視頻片段進一步切分為細粒度視頻片段；再根據全局運動統計特征來提取候選關鍵幀，最后結合時空一致性與層次聚類從候選關鍵幀集合中提取代表性關鍵幀以去除冗余幀來得到最終的關鍵幀集合。本發明充分利用了團隊體育視頻的全局運動信息，提高了關鍵幀提取性能，減少了冗余光流信息的干擾，有利于提升所提取出的關鍵幀與比賽中關鍵事件的相關性。

技術領域

本發明屬于視頻分析領域。

背景技術

視頻在電影，監控，體育，新聞等許多領域無處不在。視頻文件的數量巨大，使得分析和理解視頻內容的工作量相當繁重。此外，在視頻數據庫中進行視頻瀏覽會消耗大量時間，因此，可以協助用戶進行快速瀏覽的視頻摘要是一個重要且不斷發展的研究領域。關鍵幀提取是視頻摘要的一種重要方式，它可以通過一系列視頻幀以可視化的方式來表示視頻的摘要。

體育視頻是一種廣播電視視頻，如足球、籃球等團隊體育項目由于深受人們的喜愛，具有廣泛的群眾基礎，因而對團隊體育視頻的研究具有廣闊的應用前景。準確的關鍵幀提取可以有助于視頻集錦的生成，對比賽內容的快速瀏覽，比賽技術統計信息的提取等應用場合。

現有的視頻關鍵幀提取方法的總體框架如下：首先檢測鏡頭邊界，然后將視頻切分為鏡頭視頻片段。之后使用顏色或光流等特征通過幀聚類來提取關鍵幀。因為位于同一視頻中的關鍵事件對應的視頻幀往往都具有較為相似的視覺特征，故這些方法難以有效地提取與比賽事件相關的關鍵幀。

Vennila等使用了馬爾可夫鏈，轉移概率矩陣和其他手段來增強視覺特征的聚類結果，以獲得更高置信度的中心聚類。Mendi等則使用混合光流來計算視頻幀中的運動矢量，然后根據運動特征時間曲線找出局部極小值，再選擇相應的幀作為關鍵幀。

Vennila等的算法所提取的關鍵幀在大多數情況下可以準確地描述視頻的主要內容，但是對于顏色特征相近的視頻幀聚類效果并不理想。Mendi等的算法可以有效地描繪視頻的鏡頭運動并動態提取關鍵幀，但是該算法易受到一些冗余的局部運動特征影響。

對于體育視頻而言，比賽鏡頭的視頻幀往往都具有較為相似的視覺特征，故現有方法難以有效地提取與比賽事件相關的關鍵幀。而對于原始視頻只做基本的鏡頭切分對于體育視頻來說是不夠的，因為一個鏡頭往往會包含多個事件，故需要細粒度的視頻切分。此外，針對體育視頻的算法所常用的運動特征是從光流中提取的，光流既包括來自攝像機的全局運動，也包含來自隊員在場上的局部運動，甚至涉及比賽LOGO或記分板的變化。混合光流是上述來自不同主體的運動光流的混合，其中某些部分與事件無關，并且無法對關鍵幀的提取提供幫助，冗余的信息反而可能會影響基于光流的算法性能。

發明內容

本發明的目的是提供了一種基于全局運動統計特征的團隊體育視頻關鍵幀提取方法。眾所周知，團隊體育視頻中的大多數事件都是進攻與防守轉換，這與全局運動轉換有著緊密聯系。因此，通過使用基于全局運動的細粒度切分，可以使得從細粒度片段中提取的關鍵幀與關鍵事件更加相關。故本發明在提取比賽鏡頭后，基于全局運動的鏡頭水平平移量進行細粒度的視頻切分；再根據全局運動統計特征來提取候選關鍵幀，最后從候選關鍵幀集合中提取代表性關鍵幀以去除冗余幀來得到最終的關鍵幀集合。此外，構建了一個數據集SportKF，其中包括來自四種團隊體育項目(籃球，足球，美式橄欖球和曲棍球)的25個視頻，共112分鐘，含197,878幀，其中含764個關鍵幀。

圖1是本發明技術方案的主流程圖。如圖1所示，本發明提出的一種基于全局運動統計特征的團隊體育視頻關鍵幀提取方法包括下列步驟：

1、通過一種基于顏色特征的團隊體育視頻比賽鏡頭提取方法提取比賽鏡頭視頻片段。

2、提取每個鏡頭視頻片段中視頻幀的混合光流并估計全局運動。