[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810345479.0
• 申請(qǐng)日: 2018-04-17
• 公開(kāi)（公告）號(hào): CN108573232B
• 公開(kāi)（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 張良;李玉鵬;劉婷婷
• 申請(qǐng)（專利權(quán)）人: 中國(guó)民航大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 天津才智專利商標(biāo)代理有限公司 12108
• 代理人: 龐學(xué)欣

一種基于卷積神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作識(shí)別方法。其包括選取數(shù)據(jù)集中的部分深度圖像作為訓(xùn)練樣本，其余深度圖像作為測(cè)試樣本，采用空間結(jié)構(gòu)動(dòng)態(tài)深度圖像技術(shù)，將數(shù)據(jù)集中的深度圖像的四維信息映射到二維空間，獲得二維圖像；構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)；使用訓(xùn)練樣本中的二維圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；將測(cè)試樣本中的二維圖像輸入到上述已訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)中得到三組輸出向量，然后進(jìn)行組內(nèi)融合，再進(jìn)行組間融合，最后完成人體動(dòng)作的識(shí)別等步驟。本發(fā)明方法可以作為模式識(shí)別和人工智能的基礎(chǔ)，對(duì)人體動(dòng)作識(shí)別具有重要意義。

技術(shù)領(lǐng)域

本發(fā)明屬于人體動(dòng)作識(shí)別技術(shù)領(lǐng)域，特別是涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作識(shí)別方法。

背景技術(shù)

目前，人體動(dòng)作識(shí)別在智能監(jiān)控、人機(jī)交互、視頻檢索、虛擬現(xiàn)實(shí)等方面已得到廣泛的應(yīng)用，因此其一直是計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)活躍的研究方向。在以前的研究中，很多關(guān)于人體動(dòng)作識(shí)別的研究方法都集中在傳統(tǒng)的RGB彩色視頻。近年來(lái)，微軟Kinect的發(fā)布為這一領(lǐng)域帶來(lái)了新的機(jī)遇，Kinect設(shè)備可以實(shí)時(shí)地采集深度圖像，與傳統(tǒng)彩色圖像相比，深度圖像具有許多優(yōu)點(diǎn)，例如，深度圖像序列實(shí)質(zhì)上是四維空間，可以包含更豐富的動(dòng)作信息，對(duì)光照條件的變化不敏感，可以更可靠地估計(jì)人體輪廓和骨骼等。目前，基于深度圖像的人體動(dòng)作識(shí)別的研究工作主要集中在尋求通過(guò)設(shè)計(jì)某種有效的特征表示方式，期望在動(dòng)作的四維信息映射二維空間后，盡量將動(dòng)作的重要特征在二維空間中得到表征，從而提高動(dòng)作識(shí)別的準(zhǔn)確率。然而，動(dòng)作的深度信息被映射到二維空間表征后，動(dòng)作在分類過(guò)程中很容易產(chǎn)生混淆，從而限制了該類方法的識(shí)別率上限。

發(fā)明內(nèi)容

為了克服上述問(wèn)題，本發(fā)明的目的在于提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作識(shí)別方法，能夠?qū)崿F(xiàn)對(duì)人體動(dòng)作的識(shí)別，進(jìn)行更精確的動(dòng)作分類，具有動(dòng)作識(shí)別率高和魯棒性強(qiáng)的特點(diǎn)。

為了達(dá)到上述目的，本發(fā)明提供的基于卷積神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作識(shí)別方法包括按順序進(jìn)行的下列步驟：

(1)選取數(shù)據(jù)集中的部分深度圖像作為訓(xùn)練樣本，其余深度圖像作為測(cè)試樣本，然后采用空間結(jié)構(gòu)動(dòng)態(tài)深度圖像技術(shù)，將數(shù)據(jù)集中深度圖像的四維信息映射到二維空間，獲得二維圖像；

(2)構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)；

(3)使用訓(xùn)練樣本中的二維圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

(4)將測(cè)試樣本中的二維圖像輸入到上述已訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)中得到三組輸出向量，然后進(jìn)行組內(nèi)融合，再進(jìn)行組間融合，最后完成人體動(dòng)作的識(shí)別。

在步驟(1)中，所述的采用空間結(jié)構(gòu)動(dòng)態(tài)深度圖像技術(shù)，將數(shù)據(jù)集中深度圖像的四維信息映射到二維空間，獲得二維圖像的方法是：采用空間結(jié)構(gòu)動(dòng)態(tài)深度圖像技術(shù)將數(shù)據(jù)集中的每個(gè)深度圖像轉(zhuǎn)換為6張不同的二維圖像，將這6張二維圖像分成3組，組別分別是軀干、四肢和關(guān)節(jié)，每組由兩張二維圖像組成，分別是DDIF，DDIB。

在步驟(2)中，所述的構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)的方法是：該網(wǎng)絡(luò)共有12層，這12層依次是卷積層conv1，池化層pool1，卷積層conv2，池化層pool2，卷積層conv3，卷積層conv4，卷積層conv5，池化層pool5，全連接層fc6，全連接層fc7，全連接層fc8以及分類層，其中分類層采用結(jié)合了交叉熵?fù)p失函數(shù)和中心損失函數(shù)作為聯(lián)合代價(jià)函數(shù)，以增加動(dòng)作樣本特征空間與類中心的距離約束。

在步驟(3)中，所述的使用訓(xùn)練樣本中的二維圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的方法是：將訓(xùn)練樣本中深度圖像轉(zhuǎn)換后獲得的3組二維圖像分別輸入到3個(gè)卷積神經(jīng)網(wǎng)絡(luò)中，利用該二維圖像分別對(duì)3個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。