[發明專利]籃球比賽視頻的球員動作識別方法、裝置和設備

在審

• 申請號: 202010864529.3
• 申請日: 2020-08-25
• 公開（公告）號: CN112001324A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 宋波
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 丁彥峰

1.一種籃球比賽視頻的球員動作識別方法，其特征在于，包括：

根據目標籃球比賽視頻生成A幀圖像，A為大于0的正整數；

確定所述A幀圖像中每幀的球員，并輸出每個球員的檢測框；

使用特征提取網絡提取所述A幀圖像的最后一層特征圖，并根據所述A幀圖像中每個球員的檢測框和所述最后一層特征圖得到球員特征向量集合；

根據所述球員特征向量集合獲取所述A幀圖像中每個球員的標識嵌入特征和幀序號嵌入特征；

將每個球員的特征向量、每個球員對應的標識嵌入特征和每個球員對應的幀序號特征向量進行連接得到每個球員的初始特征向量；

將每個球員的初始特征向量輸入到關系提取網絡中得到特征矩陣，所述特征矩陣的列向量表示球員的最終特征向量；

將所述特征矩陣輸入線性前饋運算網絡降維至B維，根據降維后的特征矩陣進行球員動作的識別，B為大于0的正整數，且B等于預定義的球員動作類別數量。

2.根據權利要求1所述的籃球比賽視頻的球員動作識別方法，其特征在于，所述根據目標籃球比賽視頻生成A幀圖像，包括：

獲取所述目標籃球比賽視頻的第t幀圖像，t為大于0的正整數；

獲取所述第t幀圖像前后共2A幀圖像，并對2A幀圖像進行隔幀采樣得到所述A幀圖像。

3.根據權利要求1所述的籃球比賽視頻的球員動作識別方法，其特征在于，所述根據所述球員特征向量集合獲取所述A幀圖像中每個球員的標識嵌入特征和幀序號嵌入特征，包括：

將所述球員特征向量集合中每個球員的標識進行編碼轉換得到A維的第一特征向量；

將所述第一特征向量輸入到兩層的多層感知器MLP網絡中得到每個球員的標識嵌入特征；

將所述球員特征向量集合中每個球員出現在A幀圖像的幀序號進行編碼轉換得到A維的第二特征向量；

將所述第二特征向量輸入到兩層的MLP網絡中得到每個球員的幀序號嵌入特征。

4.根據權利要求1所述的籃球比賽視頻的球員動作識別方法，其特征在于，所述將每個球員的初始特征向量輸入到關系提取網絡中得到特征矩陣，包括：

在所述關系提取網絡內，對每個球員的初始特征向量輸入到一層的全連接神經網絡得到每個球員的索引特征向量、查詢特征向量和值特征向量；

將每個球員的索引特征向量和查詢特征向量進行點積運算得到每個球員與其他球員之間的相似度，并根據每個球員與其他球員的相似度進行歸一化，計算歸一化后相似度值的Softmax值作為每個球員的權重向量；

根據每個球員的權重向量和權重系數得到每個球員融合了其他球員信息的特征向量；

將每個球員的融合了其他球員信息的特征向量和對應的初始特征向量進行相加得到每個球員的最終特征向量；

將所有球員的最終特征向量進行組合、LayerNorm運算和線性前饋運算，得到所述特征矩陣。

5.一種籃球比賽視頻的球員動作識別裝置，其特征在于，包括：

獲取模塊，用于獲取目標籃球比賽視頻；

控制處理模塊，用于根據所述目標籃球比賽視頻生成A幀圖像，確定所述A幀圖像中每幀的球員，并輸出每個球員的檢測框；使用特征提取網絡提取所述A幀圖像的最后一層特征圖，并根據所述A幀圖像中每個球員的檢測框和所述最后一層特征圖得到球員特征向量集合；根據所述球員特征向量集合獲取所述A幀圖像中每個球員的標識嵌入特征和幀序號嵌入特征；將每個球員的特征向量、每個球員對應的標識嵌入特征和每個球員對應的幀序號特征向量進行連接得到每個球員的初始特征向量；將每個球員的初始特征向量輸入到關系提取網絡中得到特征矩陣，所述特征矩陣的列向量表示球員的最終特征向量；將所述特征矩陣輸入線性前饋運算網絡降維至B維，根據降維后的特征矩陣進行球員動作的識別；

其中，A為大于0的正整數，B為大于0的正整數，且B等于預定義的球員動作類別數量。

6.根據權利要求5所述的籃球比賽視頻的球員動作識別裝置，其特征在于，所述控制處理模塊用于獲取所述目標籃球比賽視頻的第t幀圖像，t為大于0的正整數；獲取所述第t幀圖像前后共2A幀圖像，并對2A幀圖像進行隔幀采樣得到所述A幀圖像。