[發明專利]一種基于深度學習的運動員行為質量評估方法

在審

• 申請號: 202111193385.4
• 申請日: 2021-10-13
• 公開（公告）號: CN113989920A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 張立華;王順利;楊鼎康;鄺昊鵬
• 申請（專利權）人: 復旦大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06K9/62;G06N3/04;G06N3/08;G06F9/451
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 蔡彭君

1.一種基于深度學習的運動員行為質量評估方法，其特征在于，其所基于的評估系統包括人體跟蹤單元、人體姿勢估計單元、動作序列特征提取與增強單元，得分預測單元和顯示單元，具體的，每個單元內的流程如下：

視頻輸入至人體跟蹤單元，人體跟蹤單元對視頻的各幀進行目標檢測，得到各幀的檢測框作為跟蹤結果，在顯示單元對跟蹤結果進行可視化；

人體姿勢估計單元獲取跟蹤結果，對各幀中運動員的姿勢進行估計，得到關鍵點信息作為姿勢估計結果，在顯示單元對姿勢估計結果進行可視化；

動作序列特征提取與增強單元以視頻、跟蹤結果和姿勢估計結果作為輸入，進行特征提取、特征增強和特征融合后得到視頻特征；

得分預測單元以視頻特征為輸入，進行全動作流程質量評估和階段性行為質量評估。

2.根據權利要求1所述的一種基于深度學習的運動員行為質量評估方法，其特征在于，所述人體跟蹤單元使用YOLO檢測器和Siammask框架進行目標檢測：在視頻的初始幀使用YOLO檢測器進行目標檢測，得到初始幀的檢測框，使用Siammask框架作為單目標跟蹤器在初始幀之后的連續幀進行目標檢測，得到初始幀之后各幀的檢測框。

3.根據權利要求2所述的一種基于深度學習的運動員行為質量評估方法，其特征在于，所述人體姿勢估計單元使用Alphapose框架對各幀中運動員的姿勢進行估計：獲取視頻中各幀的檢測框后，采用Alphapose框架對各幀中運動員的姿勢進行估計，Alphapose框架生成各幀的關鍵點信息，使用卡爾曼濾波器算法對各幀的關鍵點信息進行處理，得到姿勢估計結果。

4.根據權利要求3所述的一種基于深度學習的運動員行為質量評估方法，其特征在于，所述動作序列特征提取與增強單元對視頻進行特征提取，得到第一特征，將第一特征結合跟蹤結果使用管道自注意力機制進行特征增強，得到增強后的第一特征，動作序列特征提取與增強單元對姿勢估計結果進行特征提取，得到第二特征，將第二特征與增強后的第一特征通過全連接層進行融合得到視頻特征。

5.根據權利要求4所述的一種基于深度學習的運動員行為質量評估方法，其特征在于，所述動作序列特征提取與增強單元使用I3D神經網絡對視頻進行特征提取，得到第一特征，使用圖卷積神經網絡對姿勢估計結果進行特征提取，得到第二特征。

6.根據權利要求5所述的一種基于深度學習的運動員行為質量評估方法，其特征在于，進行全動作流程質量評估時，將所有的視頻特征進行時序全局平均池化后送入全連接層完成質量評估，進行階段性行為質量評估時，將一段視頻的視頻特征送入全連接層完成質量評估。

7.根據權利要求6所述的一種基于深度學習的運動員行為質量評估方法，其特征在于，得分預測單元使用I3D神經網絡，進行全動作流程質量評估時，將所有的視頻特征進行時序全局平均池化后送入I3D神經網絡的全連接層完成質量評估，進行階段性行為質量評估時，將一段視頻的視頻特征送入I3D神經網絡的全連接層完成質量評估。

8.根據權利要求4所述的一種基于深度學習的運動員行為質量評估方法，其特征在于，將第一特征結合跟蹤結果使用管道自注意力機制進行特征增強具體為：將第一特征與檢測框進行量化和對齊生成特征圖掩膜，按照視頻的幀數和第一特征的數量的比例進行掩膜的融合以生成時空管道，在時空管道內部采用管道自注意力機制完成第一特征的稀疏增強操作，通過殘差連接將第一特征與完成稀疏增強后的第一特征進行融合，得到增強后的第一特征。

9.根據權利要求8所述的一種基于深度學習的運動員行為質量評估方法，其特征在于，獲取跟蹤結果和第一特征后，按照視頻的幀數和第一特征的數量的比例確定檢測框的數量與第一特征的時序維度數量的比值N：1，N1，確定每一個檢測框所對應的掩膜，獲取檢測框覆蓋第一特征的特征網絡的比例，如果比例大于預設置的閾值，則該第一特征被選中，否則，該第一特征被剔除，完成N個檢測框的掩膜計算后，通過位與操作完成掩膜的融合，生成時空管道。

10.根據權利要求8所述的一種基于深度學習的運動員行為質量評估方法，其特征在于，時空管道內部管道自注意力機制表示為：

其中，p表示需要計算的輸出位置，(c,t,i,j)對時空管道中所有的第一特征位置進行了遍歷，輸出特征y和輸入特征x具有相同的尺寸，f函數為距離度量函數，g函數為特征映射函數，響應值會通過歸一化因子C(x)＝∑_c∑_tΩ_c,t進行歸一化。