[發(fā)明專利]一種結(jié)合多模態(tài)特征分析與神經(jīng)網(wǎng)絡(luò)的羽毛球運(yùn)動(dòng)員犯規(guī)動(dòng)作識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011364578.7
• 申請(qǐng)日: 2020-11-27
• 公開（公告）號(hào): CN112396018B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 張剛瀚;黃國(guó)恒;程良倫;張煜乾;陳澤炯
• 申請(qǐng)（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/762;G06V10/764;G06V10/82;G06N3/042;G06N3/0464;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 林麗明

本發(fā)明公開了一種結(jié)合多模態(tài)特征分析與神經(jīng)網(wǎng)絡(luò)的羽毛球運(yùn)動(dòng)員犯規(guī)動(dòng)作識(shí)別方法，包括：實(shí)時(shí)提取運(yùn)動(dòng)員的人物圖像、運(yùn)動(dòng)姿態(tài)序列、光流數(shù)據(jù)；將人物圖像送入雙流網(wǎng)絡(luò)的空間流網(wǎng)絡(luò)中，獲取運(yùn)動(dòng)員空間特征；將運(yùn)動(dòng)姿態(tài)序列作為有向圖傳入多層的圖卷積神經(jīng)網(wǎng)絡(luò)中，獲得運(yùn)動(dòng)員運(yùn)動(dòng)時(shí)的姿態(tài)時(shí)空特征；將每一幀光流數(shù)據(jù)先經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征后再送入時(shí)間關(guān)系網(wǎng)絡(luò)，獲取運(yùn)動(dòng)員的光流運(yùn)動(dòng)信息特征；分別將得到的三種特征兩兩配對(duì)，得到三種聚合特征并分別送入卷積神經(jīng)網(wǎng)絡(luò)中，得到三種融合特征并將其加權(quán)融合得到最終的整體人體多模態(tài)融合運(yùn)動(dòng)特征，將其送入全連接網(wǎng)絡(luò)中得到最終的動(dòng)作分類識(shí)別結(jié)果。本發(fā)明提高了運(yùn)動(dòng)員犯規(guī)動(dòng)作識(shí)別準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，更具體地，涉及一種結(jié)合多模態(tài)特征分析與神經(jīng)網(wǎng)絡(luò)的羽毛球運(yùn)動(dòng)員犯規(guī)動(dòng)作識(shí)別方法。

背景技術(shù)

羽毛球比賽規(guī)則有明確規(guī)定，開球要符合規(guī)范動(dòng)作，不能故意延誤發(fā)球、站位不能阻礙對(duì)手視線，比賽中不能故意侵入對(duì)手場(chǎng)區(qū)、做出某些動(dòng)作阻礙對(duì)手進(jìn)攻或分散對(duì)手注意力。但有時(shí)這些動(dòng)作發(fā)出時(shí)會(huì)比較細(xì)微，人眼無(wú)法做到細(xì)致觀察判斷，加上比賽過(guò)程中運(yùn)動(dòng)員動(dòng)作變化頻繁，這樣可能會(huì)造成裁判忽略某些犯規(guī)動(dòng)作，從而影響了比賽的公平性。隨著計(jì)算機(jī)視覺技術(shù)的提升，機(jī)器可以實(shí)現(xiàn)對(duì)視頻、圖像的精細(xì)分析，因此可以利用機(jī)器來(lái)代替人眼去識(shí)別運(yùn)動(dòng)員比賽動(dòng)作是否犯規(guī)，即對(duì)運(yùn)動(dòng)員進(jìn)行行為識(shí)別來(lái)判斷其比賽時(shí)動(dòng)作是否符合規(guī)范。目前行為識(shí)別方法是以雙流法和3D卷積為主，也有輸入人體姿態(tài)來(lái)進(jìn)行行為識(shí)別。但是由于人體行為有很多不確定性，運(yùn)動(dòng)員比賽時(shí)動(dòng)作較為復(fù)雜，并且手部揮拍動(dòng)作可能會(huì)不明顯，還會(huì)夾雜一些復(fù)雜動(dòng)作，這些可能會(huì)造成系統(tǒng)對(duì)行為的誤判，只是使用單一模態(tài)的數(shù)據(jù)而缺乏信息間的交互很難進(jìn)行細(xì)致分析。

在現(xiàn)有技術(shù)中，公開號(hào)為CN110705463A的中國(guó)發(fā)明專利，于2020年1月17日公開了一種基于多模態(tài)雙流3D網(wǎng)絡(luò)的視頻人體行為識(shí)別方法及系統(tǒng)，包括：基于深度視頻生成的深度動(dòng)態(tài)圖序列DDIS；基于RGB視頻生成的姿勢(shì)評(píng)估圖序列PEMS；將深度動(dòng)態(tài)圖序列和姿勢(shì)評(píng)估圖序列分別輸入到3D卷積神經(jīng)網(wǎng)絡(luò)中，構(gòu)造DDIS流和PEMS流，得到各自的分類結(jié)果；將得到的分類結(jié)果進(jìn)行融合，得到最終的行為識(shí)別結(jié)果。該專利沒有結(jié)合多特征信息，沒有特征融合，識(shí)別準(zhǔn)確度不高。

發(fā)明內(nèi)容

本發(fā)明為克服上述現(xiàn)有技術(shù)運(yùn)動(dòng)員犯規(guī)動(dòng)作識(shí)別沒有多特征信息融合，識(shí)別準(zhǔn)確度不高的缺陷，提供一種結(jié)合多模態(tài)特征分析與神經(jīng)網(wǎng)絡(luò)的羽毛球運(yùn)動(dòng)員犯規(guī)動(dòng)作識(shí)別方法。

本發(fā)明的首要目的是為解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

一種結(jié)合多模態(tài)特征分析與神經(jīng)網(wǎng)絡(luò)的羽毛球運(yùn)動(dòng)員犯規(guī)動(dòng)作識(shí)別方法，包括以下步驟：

S1：實(shí)時(shí)提取運(yùn)動(dòng)員的人物圖像、運(yùn)動(dòng)姿態(tài)序列、光流數(shù)據(jù)；

S2：將人物圖像送入雙流網(wǎng)絡(luò)的空間流網(wǎng)絡(luò)中，獲取運(yùn)動(dòng)員空間特征；

S3：將運(yùn)動(dòng)姿態(tài)序列作為有向圖傳入多層的圖卷積神經(jīng)網(wǎng)絡(luò)中，獲得運(yùn)動(dòng)員運(yùn)動(dòng)時(shí)的姿態(tài)時(shí)空特征；

S4：將每一幀光流數(shù)據(jù)先經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征后再送入時(shí)間關(guān)系網(wǎng)絡(luò)，獲取運(yùn)動(dòng)員的光流運(yùn)動(dòng)信息特征；

S5：分別將步驟S1、S2、S3得到的三種特征兩兩配對(duì)，得到三種聚合特征；

S6：將三種聚合特征分別送入卷積神經(jīng)網(wǎng)絡(luò)中，得到三種融合特征；

S7：將三種融合特征加權(quán)融合得到最終的整體人體多模態(tài)融合運(yùn)動(dòng)特征；

S8：將整體人體多模態(tài)融合運(yùn)動(dòng)特征送入全連接網(wǎng)絡(luò)中得到最終的動(dòng)作分類識(shí)別結(jié)果。

進(jìn)一步地，步驟S1中，通過(guò)視頻截幀獲取運(yùn)動(dòng)員人物圖像，通過(guò)OpenPose獲取運(yùn)動(dòng)員運(yùn)動(dòng)姿態(tài)，通過(guò)DenseFlow獲取運(yùn)動(dòng)員光流數(shù)據(jù)。