[發明專利]一種基于比賽視頻的動作自動識別方法

在審

• 申請號: 202110007893.2
• 申請日: 2021-01-05
• 公開（公告）號: CN112597966A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 聶鑫
• 申請（專利權）人: 武漢球之道科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 楊本官

1.一種基于比賽視頻的動作自動識別方法，其特征在于，包括如下步驟：

(1)賽事視頻的預處理和篩選：收集足夠且充分的原始視頻數據，剔除原始視頻中評價、回放、慢放、賽事過程中的裁定評分及其他非賽事動作直接相關的視頻片段；

依據位置職能的基礎動作作為劃分依據，對原始視頻進行切割分塊，并選取不同職能位置對應的基本動作片段、不同位置職能間的互動動作視頻片段以及特殊職能單位的特殊動作視頻片段分別形成基本動作片段集、互動動作片段集以及特殊動作片段集；

(2)關鍵詞標注及統計：基于前述動作片段集，采用人工統計或者語音識別方式，對各動作片段進行關鍵詞標注；

(3)動作以及語義特征提取：利用卷積神經網絡掃描動作片段集以進行動作特征提取；

利用獨熱編碼對關鍵詞轉化為描述特征，統計關鍵詞詞頻構建語義詞典；

(4)動作和語義特征的關聯訓練學習：使用長短期記憶人工神經網絡完成動作片段與語義特征的學習訓練，包括如下步驟：

將前述步驟中的動作特征分解為具有矢量特征并進行編碼的動作特征序列，利用神經網絡解碼該動作特征獲取相應動的數據

對于動作特征矢量X＝{x₁、x₂、...x_n}，其在長短期記憶人工神經網絡對應的隱藏層輸出H＝{h₁、h₂、...h_n}，將動作特征矢量按照順序輸入LSTM，在每個動作片段的所有幀圖像均經過LSTM訓練后，得到該動作特征矢量的編碼映射；解碼訓練過程中，LSTM將隱藏狀態解碼為語義序列Y＝{y₁、y₂、...y_m}，其概率為

在已知幀序列的隱藏狀態以及語義的情況下，持續訓練過程直至得到預測中最大的對數似然性

2.根據權利要求1所述一種基于比賽視頻的動作自動識別方法，其特征在于，還包括用于去除冗余的步驟，具體而言，以含有幀圖像數目最小的連續幀圖像組對應的時長t_min為基數，統計各視頻片段相對于t_min的重復次數，剔除同一個視頻片段內包含的重復性冗余幀圖像，對于畫面呈周期性變化的視頻片段，所述畫面至少保留有一個完整周期內的所有非重復幀圖像。

3.根據權利要求1所述一種基于比賽視頻的動作自動識別方法，其特征在于，數據集的訓練使用了隨機梯度算法進行優化，以使LSTM的訓練過程更加適合動作特征與語義的識別，其中第二層LSTM的輸出S在由關鍵詞構成的詞庫中獲得最大可能性的目標關鍵詞G滿足

4.根據權利要求1所述一種基于比賽視頻的動作自動識別方法，其特征在于，引入了時間權重比例控制，具體而言：采用時長特征向量的動態加權和，其公式為其中是i時刻LSTM隱藏層輸出與動作片段向量匹配得到的分值權重且其中score(x_ih_i)是指第i各隱藏層的輸出h_i在動作片段特征向量中所占的分值，表示在該動作片段中的影響權重。