[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的人體動作識別方法

有效

• 申請?zhí)枺?/td>: 201810345479.0
• 申請日: 2018-04-17
• 公開（公告）號: CN108573232B
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 張良;李玉鵬;劉婷婷
• 申請（專利權(quán)）人: 中國民航大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 天津才智專利商標(biāo)代理有限公司 12108
• 代理人: 龐學(xué)欣

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的人體動作識別方法，其特征在于：所述的基于卷積神經(jīng)網(wǎng)絡(luò)的人體動作識別方法包括按順序進(jìn)行的下列步驟：

(1)選取數(shù)據(jù)集中的部分深度圖像作為訓(xùn)練樣本，其余深度圖像作為測試樣本，然后采用空間結(jié)構(gòu)動態(tài)深度圖像技術(shù)，將數(shù)據(jù)集中深度圖像的四維信息映射到二維空間，獲得二維圖像；

(2)構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)；

(3)使用訓(xùn)練樣本中的二維圖像對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

(4)將測試樣本中的二維圖像輸入到上述已訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)中得到三組輸出向量，然后進(jìn)行組內(nèi)融合，再進(jìn)行組間融合，最后完成人體動作的識別；

在步驟(2)中，所述的構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)的方法是：該網(wǎng)絡(luò)共有12層，這12層依次是卷積層conv1，池化層pool1，卷積層conv2，池化層pool2，卷積層conv3，卷積層conv4，卷積層conv5，池化層pool5，全連接層fc6，全連接層fc7，全連接層fc8以及分類層，其中分類層采用結(jié)合了交叉熵?fù)p失函數(shù)和中心損失函數(shù)作為聯(lián)合代價(jià)函數(shù)，以增加動作樣本特征空間與類中心的距離約束。

2.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)的人體動作識別方法，其特征在于：在步驟(1)中，所述的采用空間結(jié)構(gòu)動態(tài)深度圖像技術(shù)，將數(shù)據(jù)集中深度圖像的四維信息映射到二維空間，獲得二維圖像的方法是：采用空間結(jié)構(gòu)動態(tài)深度圖像技術(shù)將數(shù)據(jù)集中的每個(gè)深度圖像轉(zhuǎn)換為6張不同的二維圖像，將這6張二維圖像分成3組，組別分別是軀干、四肢和關(guān)節(jié)，每組由兩張二維圖像組成，分別是DDIF，DDIB。

3.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)的人體動作識別方法，其特征在于：在步驟(3)中，所述的使用訓(xùn)練樣本中的二維圖像對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的方法是：將訓(xùn)練樣本中深度圖像轉(zhuǎn)換后獲得的3組二維圖像分別輸入到3個(gè)卷積神經(jīng)網(wǎng)絡(luò)中，利用該二維圖像分別對3個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

4.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)的人體動作識別方法，其特征在于：在步驟(4)中，所述的將測試樣本中的二維圖像輸入到上述已訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)中得到三組輸出向量，然后進(jìn)行組內(nèi)融合，再進(jìn)行組間融合，最后完成人體動作的識別的方法是：將測試樣本中每一個(gè)深度圖像轉(zhuǎn)換后獲得的3組共6個(gè)二維圖像，分別將各輸入到3個(gè)組對應(yīng)的已訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)中，則每個(gè)組將得到2個(gè)對應(yīng)的向量，將上述每組的2個(gè)向量對應(yīng)的維度求平均值，作為組內(nèi)融合；然后將上述3個(gè)組內(nèi)向量對應(yīng)的維度求平均值，即組間融合，作為最終向量，該最終向量中的最大數(shù)值對應(yīng)的維度序號，即為待識別的人體動作類別。