[發明專利]一種基于全局運動統計特征的團隊體育視頻關鍵幀提取方法

在審

• 申請號: 202110204179.2
• 申請日: 2021-02-24
• 公開（公告）號: CN113032631A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 毋立芳;袁元;盧哲;楊洲;簡萌;李則昱;朱青青
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06K9/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于全局運動統計特征的團隊體育視頻關鍵幀提取方法，其特征在于，包括下列步驟：

步驟1：通過一種基于顏色特征的團隊體育視頻比賽鏡頭提取方法提取比賽鏡頭視頻片段；

輸入：原始團隊體育視頻

輸出：比賽鏡頭視頻片段集合；

步驟2：提取每個鏡頭視頻片段中視頻幀的混合光流并估計全局運動；

輸入：比賽鏡頭視頻片段的視頻幀

輸出：視頻幀對應的全局光流場；

步驟3：計算視頻幀對應的全局運動統計特征，包括鏡頭縮放量和平移量；

輸入：視頻幀四個角點的全局光流值

輸出：全局運動統計特征，包括鏡頭的縮放量和平移量；

其中矩形P_tlP_blP_brP_tr代表原始鏡頭范圍，矩形P’_tlP’_blP’_brP′_tr代表變換后的鏡頭范圍；

式中X_zoom，Y_zoom分別為鏡頭在X，Y方向上的縮放向量，MAG_zoom則是鏡頭的合縮放量；(x_tl，y_tl)，(x_br，y_br)分別為視頻幀左上和右下角點的全局運動向量；

X_trans＝x_tl-X_zoom

Y_trans＝y_tl-Y_zoom

式中X_trans，Y_trans分別為鏡頭在X，Y方向上的平移向量，DIS_trans則是鏡頭的合平移量；

步驟4：基于鏡頭的水平平移量，將鏡頭視頻片段進一步切分為細粒度視頻片段；

輸入：比賽鏡頭視頻片段集合

輸出：細粒度視頻片段集合

Trans_con＝SGN(X_trans(FFame_i)·X_trans(FFame_i+1))

其中SGN(x)函數返回x的符號，x＞0，則SGN(x)＝1；x＝0，則SGN(x)＝0；x＜0，則SGN(x)＝-1；X_trans(FFame_i)，X_trans(Frame_i+1)分別為第i幀，第i+1幀對應鏡頭在X方向上的平移向量；

具體操作：在每個鏡頭視頻片段中，逐一計算第i幀與第i+1幀對應的Trans_con，如果Trans_con＝-1，則分隔開第i幀與第i+1幀，直至計算到每個鏡頭視頻片段的倒數第二個視頻幀為止；之后將第一個間隔之前的幀存為第一個細粒度視頻片段，之后將每兩個間隔之間的幀存為相應的細粒度視頻片段，最后一個細粒度視頻片段由最后一個間隔之后的所有幀組成；

步驟5：繪制鏡頭合平移量和合縮放量的曲線，依據曲線的極大值提取每個細粒度視頻片段中的候選關鍵幀；

輸入：細粒度視頻片段集合的所有視頻幀

輸出：候選關鍵幀集

步驟一)：對每個細粒度視頻片段，繪制視頻幀序列的合縮放量變化曲線MAG_zoom(f)以及合平移量變化曲線DIS_trans(f)，f為視頻幀序列對應的幀號；

步驟二)：同時掃描合平移量與合縮放量變化曲線；以合縮放量變化曲線為例，找到f₁，f₃，f₂為連續的三個視頻幀，如果MAG_zoom(f₃)＞MAG_zoom(f₁)且MAG_zoom(f₃)＞MAG_zoom(f₂)，則f₃為MAG_zoom(f)曲線的一個極大值對應的幀號；DIS_trans(f)曲線同理；若同幀號的f₃既為MAG_zoom(f)曲線的極大值對應的幀號，又是DIS_trans(f)曲線的極大值對應的幀號，則把f₃對應的幀選為關鍵幀；

步驟三)：重復步驟二)直至查找完畢；

步驟四)：遍歷已經提取出的初步關鍵幀集，找到兩幀k₁，k₂，如果k₂-k₁≥med則提取原細粒度視頻片段幀集中幀號(表示對x向下取整)的視頻幀，并存入按幀號大小排列的候選關鍵幀集中；

med取值：

籃球：35

足球：88

橄欖球：53

曲棍球：160

步驟五)：重復步驟四)直至查找完畢；

步驟6：結合時空一致性與層次聚類從候選關鍵幀集中提取代表性關鍵幀，得到最終的關鍵幀集合；

輸入：候選關鍵幀集

輸出：最終關鍵幀集

基于時空一致性的代表性關鍵幀提取：

步驟一：將所有候選關鍵幀對應的全局光流場進行彩色編碼，得到全局光流圖像；

步驟二：將所有全局光流圖像從RGB顏色空間轉換至HSI顏色空間；

步驟三：將所有HSI顏色空間的全局光流圖像按對應關鍵幀的時間序列進行排序；

步驟四：計算所有HSI顏色空間的全局光流圖像對應的HI通道二維直方圖；

步驟五：計算相鄰圖像HI通道二維直方圖的巴氏距離B；

巴氏距離用于測量兩個離散數據的概率分布；在直方圖相似度計算時，巴氏距離具有很好的效果，其計算直方圖相似度的公式如下：

其中，h₁和h₂為兩個直方圖，n為直方圖組數，h_i[m]表示第m組對應的頻率；值越小，相關度越高，完全匹配為0，完全不匹配則為1；

步驟六：如果B＞TH_B，檢測這兩幅相鄰圖像對應的關鍵幀是否被提取，如果未被提取，則提取未被提取的關鍵幀；

基于層次聚類的代表性關鍵幀提取：

步驟七：將所有全局光流圖像按對應關鍵幀此前所在的細粒度視頻片段進行分組，且按時間序列進行排序；

步驟八：計算每幅全局光流圖像對應的RGB三通道直方圖，并橫向拼接為一個包含768個特征值的數組；

步驟九：對每組中所有全局光流圖像對應的數組進行層次聚類，將簇間距離閾值設置為TH_HC；

步驟十：提取聚類后每一簇中，與每個數組距離最小的數組對應的關鍵幀；

步驟十一：檢測每個細粒度視頻片段的首末候選關鍵幀是否被提取，如果未被提取，則提取未被提取的關鍵幀；

步驟十二：將上述提取出的關鍵幀取并集，移除重復的關鍵幀；得到最終的關鍵幀集；

TH_B,TH_HC推薦取值：

高召回率：

籃球：TH_B＝0.22，TH_HC＝4.00

足球：TH_B＝0.36，TH_HC＝8.00

橄欖球：TH_B＝0.17，TH_HC＝9.00

曲棍球：TH_B＝0.14，TH_HC＝3.50

高F值：

籃球：TH_B＝0.26，TH_HC＝3.80

足球：TH_B＝0.40，TH_HC＝7.00

橄欖球：TH_B＝0.20，TH_HC＝6.50

曲棍球：TH_B＝0.24，TH_HC＝3.00

在統計比賽技術數據時，采用高召回率模式保證數據準確度，盡可能少地遺漏關鍵事件；而在快速瀏覽比賽內容以及存儲視頻時，則采用高F值模式。

2.根據權利要求1所述的一種基于全局運動統計特征的團隊體育視頻關鍵幀提取方法，其特征在于，

步驟1具體如下：

S＝{S₁，S₂，......，S_S}：經過視頻切分后的鏡頭視頻片段集合；

F：鏡頭視頻片段的視頻幀集合；

AM_R：視頻幀中所有像素點對應R通道取值的算術平均值；

AM_G：視頻幀中所有像素點對應G通道取值的算術平均值；

AM_B：視頻幀中所有像素點對應B通道取值的算術平均值；

R_R：鏡頭視頻片段中AM_R的極差；

R_G：鏡頭視頻片段中AM_G的極差；

R_B：鏡頭視頻片段中AM_B的極差；

鏡頭視頻片段中所有視頻幀對應AM_R的算術平均值；

鏡頭視頻片段中所有視頻幀對應AM_G的算術平均值；

鏡頭視頻片段中所有視頻幀對應AM_B的算術平均值；

A_RGB：將按行順序堆疊的數組；

C_max：經過K-means聚類后擁有鏡頭視頻片段最多的一類；

TH_BS：用于區分候選基準鏡頭和所有其他鏡頭的閾值；

CBS：候選基準鏡頭視頻片段集合；

S_FM：CBS中具有視頻幀數最多的鏡頭視頻片段；

鏡頭視頻片段S_FM對應的

鏡頭視頻片段S_FM對應的

鏡頭視頻片段S_FM對應的

與的百分誤差；

與的百分誤差；

與的百分誤差；

TH_GS：用于區分比賽鏡頭和非比賽鏡頭的閾值；

S’：比賽鏡頭視頻片段集合；

步驟一：切分視頻為視頻鏡頭片段，并將視頻按圖片形式逐幀保存，得到S

步驟二：計算所有視頻幀的AM_R,AM_G,AM_B

步驟三：計算所有鏡頭視頻片段的R_R,R_G,R_B；和A_RGB

步驟四：對所有鏡頭視頻片段對應的A_RGB進行K-means聚類，并找出C_max

步驟五：對C_max中所有鏡頭視頻片段進行如下操作：如果R_R,R_G,R_B中至少有一個小于等于TH_BS，則將該鏡頭視頻片段存入CBS

步驟六：找到

步驟七：計算所有鏡頭視頻片段的并對所有鏡頭視頻片段進行如下操作：如果均小于等于TH_GS，則將其存入S’；

取值：TH_BS＝100,TH_GS＝15％。