[發明專利]一種結合多模態特征分析與神經網絡的羽毛球運動員犯規動作識別方法

有效

• 申請號: 202011364578.7
• 申請日: 2020-11-27
• 公開（公告）號: CN112396018B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 張剛瀚;黃國恒;程良倫;張煜乾;陳澤炯
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/762;G06V10/764;G06V10/82;G06N3/042;G06N3/0464;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種結合多模態特征分析與神經網絡的羽毛球運動員犯規動作識別方法，其特征在于，包括以下步驟：

S1：實時提取運動員的人物圖像、運動姿態序列、光流數據；

S2：將人物圖像送入雙流網絡的空間流網絡中，獲取運動員空間特征；

S3：將運動姿態序列作為有向圖傳入多層的圖卷積神經網絡中，獲得運動員運動時的姿態時空特征；

運動姿態時空特征經過圖卷積運算得到，所述圖卷積運算公式如下：

其中，、代表人體姿態關節點，和代表輸入和輸出圖像，和代表關節點間的權重和重構后的權重，是指利用關節點來給其他節點賦予數字標簽，所述數字標簽依賴于兩個關節點之間的最短路徑，是正則化項；，其中D設為常數1，是兩個關節點之間的最短路徑；

S4：將每一幀光流數據先經過卷積神經網絡提取特征后再送入時間關系網絡，獲取運動員的光流運動信息特征；

獲取運動員光流運動信息特征過程為：

利用卷積神經網絡中的ResNet基線網絡對光流序列的每一幀光流進行建模，然后對建模后的每一幀光流進行特征之間的融合；

將特征融合后的光流序列送入時間關系網絡中按照不同的幀數分組，每一組中的光流的序號從小到大排序；

對每一組光流序列進行建模，得到幀間時間關系特征，然后再融合相同組別的幀間時間關系特征，得到段間時間關系特征；

將所有段間時間關系特征通過相加，得到包含有時間推理信息的整體運動員光流運動信息特征；

S5：分別將步驟S1、?S2?、S3得到的三種特征兩兩配對，得到三種聚合特征；

S6：將三種聚合特征分別送入卷積神經網絡中，得到三種融合特征；

S7：將三種融合特征加權融合得到最終的整體人體多模態融合運動特征；

S8：將整體人體多模態融合運動特征送入全連接網絡中得到最終的動作分類識別結果。

2.根據權利要求1所述的一種結合多模態特征分析與神經網絡的羽毛球運動員犯規動作識別方法，其特征在于，步驟S1中，通過視頻截幀獲取運動員人物圖像，通過OpenPose獲取運動員運動姿態，通過DenseFlow獲取運動員光流數據。

3.根據權利要求1所述的一種結合多模態特征分析與神經網絡的羽毛球運動員犯規動作識別方法，其特征在于，步驟S2是將人物圖像送入雙流網絡的空間流網絡中，對人物圖像的空間信息進行建模，得到運動員的人物空間特征。

4.根據權利要求1所述的一種結合多模態特征分析與神經網絡的羽毛球運動員犯規動作識別方法，其特征在于，步驟S3是將運動姿態序列作為有向圖傳入多層的圖卷積神經網絡中，對運動員的運動姿態序列進行建模，得到運動員的運動姿態時空特征。

5.根據權利要求1所述的一種結合多模態特征分析與神經網絡的羽毛球運動員犯規動作識別方法，其特征在于，步驟S6中將三種聚合特征分別送入卷積神經網絡中，每一種聚合特征含有一個特征對，卷積神經網絡對每一個特征對建模融合得到三種融合特征。

6.?根據權利要求1所述的一種結合多模態特征分析與神經網絡的羽毛球運動員犯規動作識別方法，其特征在于，所述的全連接網絡對輸入的人體多模態融合運動特征進行動作識別分類?，判斷出運動員是否有犯規動作。

7.根據權利要求1所述的一種結合多模態特征分析與神經網絡的羽毛球運動員犯規動作識別方法，其特征在于，獲取運動姿態序列的過程包括：

獲取運動圖像序列，將圖像序列的每一張圖片經過VGG19網絡，得到圖像特征；

根據圖像特征分別獲取運動員身體每個關節點的關節點置信度和關節點間的親和度向量；

利用關節點置信度和關節點間的親和度向量對關節點進行聚類并進行骨架拼接得到運動員的運動姿態序列。

8.根據權利要求1所述的一種結合多模態特征分析與神經網絡的羽毛球運動員犯規動作識別方法，其特征在于，所述人物圖像為RGB圖像。