[發(fā)明專利]一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人體運(yùn)動(dòng)計(jì)數(shù)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810213000.8
• 申請(qǐng)日: 2018-03-15
• 公開(kāi)（公告）號(hào): CN110163038A
• 公開(kāi)（公告）日: 2019-08-23
• 發(fā)明（設(shè)計(jì)）人: 司馬華鵬
• 申請(qǐng)（專利權(quán)）人: 南京硅基智能科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京華仲龍騰專利代理事務(wù)所(普通合伙) 11548
• 代理人: 黃玉玨

1.基于深度卷積神經(jīng)網(wǎng)絡(luò)的人體運(yùn)動(dòng)計(jì)數(shù)方法，其特征在于，依次進(jìn)行如下步驟：

(1)定義5種基本人體運(yùn)動(dòng)類型，分別是：仰臥起坐、俯臥撐、深蹲、引體向上、高抬腿，分別定義為M1,M2,…M5，然后將上述5種運(yùn)動(dòng)的每一種分解成3個(gè)依次循環(huán)的關(guān)鍵動(dòng)作姿態(tài)序列，共計(jì)15種關(guān)鍵動(dòng)作姿態(tài)，分別定義為P1,P2,…P15，其中：運(yùn)動(dòng)M1的關(guān)鍵動(dòng)作姿態(tài)序列為P1-P2-P3，運(yùn)動(dòng)M2的關(guān)鍵動(dòng)作姿態(tài)序列為P4-P5-P6，運(yùn)動(dòng)M3的關(guān)鍵動(dòng)作姿態(tài)序列為P7-P8-P9，運(yùn)動(dòng)M4的關(guān)鍵動(dòng)作姿態(tài)序列為P10-P11-P12，運(yùn)動(dòng)M5的關(guān)鍵動(dòng)作姿態(tài)序列為P13-P14-P15；

(2)令不同人表演M1～M5運(yùn)動(dòng)并且錄制多個(gè)視頻序列，從視頻序列中提取符合上述P1～P15關(guān)鍵動(dòng)作姿態(tài)的視頻幀，定義為關(guān)鍵動(dòng)作幀，然后再錄制這5種運(yùn)動(dòng)之外的其他類型運(yùn)動(dòng)的多個(gè)視頻序列；

(3)將步驟(2)錄制的所有視頻序列作為深度卷積神經(jīng)網(wǎng)絡(luò)分類算法的訓(xùn)練樣本，定義包含如下16個(gè)類別的分類器：將步驟(2)中的15個(gè)關(guān)鍵動(dòng)作姿態(tài)P1～P15分別作為一個(gè)類別，共計(jì)15個(gè)類別，分別定義為C1,C2,…C15，將不屬于此5種運(yùn)動(dòng)的動(dòng)作姿態(tài)歸為第16個(gè)類別，定義為C16，然后進(jìn)行基于深度卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別訓(xùn)練過(guò)程，在訓(xùn)練完畢后輸出分類模型；

(4)通過(guò)攝像頭捕獲人體運(yùn)動(dòng)的視頻幀，輸入到已訓(xùn)練好的分類模型進(jìn)行分類運(yùn)算，根據(jù)分類運(yùn)算結(jié)果判斷運(yùn)動(dòng)者所處的動(dòng)作姿態(tài)，所述動(dòng)作姿態(tài)屬于C1～C16；

(5)如果判斷出在該運(yùn)動(dòng)者的所有動(dòng)作姿態(tài)中，屬于C1～C15的一系列動(dòng)作姿態(tài)符合M1～M5任意一種Mi所定義的關(guān)鍵動(dòng)作姿態(tài)序列，i位于1～5，那么該運(yùn)動(dòng)者所進(jìn)行的運(yùn)動(dòng)即為Mi，并且系統(tǒng)記錄該運(yùn)動(dòng)Mi的計(jì)數(shù)加一。

2.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的人體運(yùn)動(dòng)計(jì)數(shù)方法，其特征在于：步驟(2)所述的提取過(guò)程利用PCA算法提取視頻序列包含的動(dòng)作姿態(tài)特征信息，利用K均值聚類算法將每一類運(yùn)動(dòng)的所有動(dòng)作姿態(tài)分成三個(gè)聚類；在每個(gè)聚類中選擇與聚類中心的距離小于該聚類所屬類簇半徑0.2倍的幀作為關(guān)鍵動(dòng)作幀，加入訓(xùn)練樣本，而聚類中不符合此條件的幀不加入訓(xùn)練樣本。

3.根據(jù)權(quán)利要求2所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的人體運(yùn)動(dòng)計(jì)數(shù)方法，其特征在于：所述K均值聚類算法后，還包括對(duì)作為訓(xùn)練樣本的關(guān)鍵動(dòng)作幀的數(shù)據(jù)增強(qiáng)過(guò)程，所述數(shù)據(jù)增強(qiáng)的方法包括平移、旋轉(zhuǎn)、尺度變換和色彩抖動(dòng)。

4.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的人體運(yùn)動(dòng)計(jì)數(shù)方法，其特征在于：步驟(4)所述的分類運(yùn)算過(guò)程還包括對(duì)關(guān)鍵動(dòng)作幀的提取步驟；對(duì)關(guān)鍵動(dòng)作幀的提取步驟利用PCA算法提取視頻序列包含的動(dòng)作姿態(tài)特征信息，利用K均值聚類算法將每一類運(yùn)動(dòng)的所有動(dòng)作姿態(tài)分成三個(gè)聚類；在每個(gè)聚類中選擇與聚類中心的距離小于該聚類所屬類簇半徑0.2倍的幀作為關(guān)鍵動(dòng)作幀，參與所述分類運(yùn)算過(guò)程，而聚類中不符合此條件的幀不參與分類運(yùn)算過(guò)程。

5.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的人體運(yùn)動(dòng)計(jì)數(shù)方法，其特征在于：所使用的深度卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的AlexNet神經(jīng)網(wǎng)絡(luò)相比，減少兩個(gè)全連接層，僅保留一個(gè)卷積層、一個(gè)池化層和一個(gè)全連接輸出層。

6.根據(jù)權(quán)利要求1-3任意一項(xiàng)所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的人體運(yùn)動(dòng)計(jì)數(shù)方法，其特征在于，M1～M5這5種運(yùn)動(dòng)所對(duì)應(yīng)的P1～P15關(guān)鍵動(dòng)作姿態(tài)分別為：

M1-仰臥起坐所包含的關(guān)鍵動(dòng)作姿態(tài)有：P1.平躺狀態(tài)，P2.半起狀態(tài)，P3.手肘觸腿狀態(tài)；

M2-俯臥撐所包含的關(guān)鍵動(dòng)作姿態(tài)有：P4.俯臥撐準(zhǔn)備階段，P5.俯臥撐下降階段，P6.俯臥撐完成狀態(tài)；

M3-深蹲所包含的關(guān)鍵動(dòng)作姿態(tài)有：P7.直立狀態(tài)，P8.半蹲狀態(tài)，P9.蹲下?tīng)顟B(tài)；

M4-引體向上所包含的關(guān)鍵動(dòng)作姿態(tài)有：P10.下垂?fàn)顟B(tài)，P11.手臂彎曲狀態(tài)，P12.頭部高于單杠狀態(tài)；

M5-高抬腿所包含的關(guān)鍵動(dòng)作姿態(tài)有：P13.左腳平直狀態(tài)，P14.左腳向下階段，P15.右腳平直狀態(tài)。

7.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)的人體運(yùn)動(dòng)計(jì)數(shù)方法，其特征在于，步驟(5)的判斷過(guò)程所包含的任意一個(gè)關(guān)鍵動(dòng)作姿態(tài)序列，都至少包含3個(gè)視頻幀。