[發(fā)明專利]基于3D卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711097227.2
• 申請(qǐng)日: 2017-11-09
• 公開（公告）號(hào): CN107766839B
• 公開（公告）日: 2020-01-14
• 發(fā)明（設(shè)計(jì)）人: 季向陽(yáng);吳嘉林;楊武魁;王谷
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 11277 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 劉新宇

本公開涉及一種基于神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別方法和裝置，所述方法包括：將待識(shí)別視頻輸入訓(xùn)練好的第一三維神經(jīng)網(wǎng)絡(luò)模型進(jìn)行處理，得到所述待識(shí)別視頻的動(dòng)作提取結(jié)果；根據(jù)所述待識(shí)別視頻的動(dòng)作提取結(jié)果，確定所述待識(shí)別視頻的動(dòng)作實(shí)例檢測(cè)結(jié)果；將所述待識(shí)別視頻輸入訓(xùn)練好的第二三維神經(jīng)網(wǎng)絡(luò)模型進(jìn)行處理，得到所述待識(shí)別視頻的動(dòng)作類別判別結(jié)果；根據(jù)所述待識(shí)別視頻的動(dòng)作實(shí)例檢測(cè)結(jié)果和所述待識(shí)別視頻的動(dòng)作類別判別結(jié)果，確定所述待識(shí)別視頻的動(dòng)作類別。利用兩個(gè)三維神經(jīng)網(wǎng)絡(luò)模型得到的不同的識(shí)別結(jié)果進(jìn)行結(jié)合，可以提高三維神經(jīng)網(wǎng)絡(luò)模型的識(shí)別效率，減小單個(gè)三維神經(jīng)網(wǎng)絡(luò)模型的計(jì)算量。

技術(shù)領(lǐng)域

本公開涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種基于神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別方法和裝置。

背景技術(shù)

動(dòng)作定位一般分為兩種，一種是僅在空間中定位，另一種是時(shí)空同時(shí)定位。在較長(zhǎng)且有多個(gè)動(dòng)作執(zhí)行人同時(shí)做動(dòng)作的視頻中，不同的動(dòng)作實(shí)例之間相互影響，重疊。由于神經(jīng)網(wǎng)絡(luò)得到的是關(guān)于類別的泛化表達(dá)，所以傳統(tǒng)基于神經(jīng)網(wǎng)絡(luò)的定位方法難以區(qū)分這些相互交疊動(dòng)作。

在傳統(tǒng)的動(dòng)作定位方法中，一種典型的二維加時(shí)間的動(dòng)作定位框架是在每一幀中檢測(cè)在移動(dòng)的人，再在不同的幀間將這些檢測(cè)出來的人連接在一起，形成一個(gè)動(dòng)作實(shí)例。這些算法在檢測(cè)人的時(shí)候僅能夠考慮到一幀中的外表特征和動(dòng)作特征，就導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的時(shí)間感受域大大減小，動(dòng)作幅度小的動(dòng)作與背景難以分開。另外，在評(píng)判每一個(gè)檢測(cè)人的檢測(cè)框時(shí)候，由于算法逐幀進(jìn)行，所以檢測(cè)框都必須單獨(dú)通過網(wǎng)絡(luò)。這導(dǎo)致了計(jì)算消耗大大增加。另外，多個(gè)動(dòng)作實(shí)例使得在回歸出來的得分圖中的響應(yīng)是交疊在一起的，導(dǎo)致普通的三維動(dòng)作定位的方法難以對(duì)多個(gè)動(dòng)作實(shí)例進(jìn)行定位。

發(fā)明內(nèi)容

有鑒于此，本公開提出了一種基于神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別方法和裝置，用以提高基于神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別方法的準(zhǔn)確率和檢測(cè)效率。

根據(jù)本公開的另一方面，提供了一種基于神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別方法，所述方法包括：

將待識(shí)別視頻輸入訓(xùn)練好的第一三維神經(jīng)網(wǎng)絡(luò)模型進(jìn)行處理，得到所述待識(shí)別視頻的動(dòng)作提取結(jié)果；

根據(jù)所述待識(shí)別視頻的動(dòng)作提取結(jié)果，確定所述待識(shí)別視頻的動(dòng)作實(shí)例檢測(cè)結(jié)果；

將所述待識(shí)別視頻輸入訓(xùn)練好的第二三維神經(jīng)網(wǎng)絡(luò)模型進(jìn)行處理，得到所述待識(shí)別視頻的動(dòng)作類別判別結(jié)果；

根據(jù)所述待識(shí)別視頻的動(dòng)作實(shí)例檢測(cè)結(jié)果和動(dòng)作類別判別結(jié)果，確定所述待識(shí)別視頻的動(dòng)作類別。

在一種可能的實(shí)現(xiàn)方式中，所述待識(shí)別視頻的動(dòng)作提取結(jié)果，包括；

所述待識(shí)別視頻中每幀圖像屬于一個(gè)動(dòng)作實(shí)例中的一個(gè)動(dòng)作位置的第一概率，以及

所述待識(shí)別視頻中的動(dòng)作起始幀和動(dòng)作結(jié)束幀。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述待識(shí)別視頻的動(dòng)作提取結(jié)果，確定所述待識(shí)別視頻的動(dòng)作實(shí)例檢測(cè)結(jié)果，包括：

根據(jù)所述待識(shí)別視頻中每幀圖像的第一概率，以及所述待識(shí)別視頻中的動(dòng)作起始幀和動(dòng)作結(jié)束幀，計(jì)算每幀圖像中的動(dòng)作檢測(cè)框；

根據(jù)所述動(dòng)作檢測(cè)框計(jì)算每幀圖像間的檢測(cè)框匹配值；

根據(jù)所述檢測(cè)框匹配值，確定所述待識(shí)別視頻的動(dòng)作實(shí)例檢測(cè)框。

在一種可能的實(shí)現(xiàn)方式中，所述待識(shí)別視頻的動(dòng)作類別判別結(jié)果，包括：

每幀圖像上的像素所對(duì)應(yīng)的動(dòng)作類別概率。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述待識(shí)別視頻的動(dòng)作實(shí)例檢測(cè)結(jié)果和動(dòng)作類別判別結(jié)果，確定所述待識(shí)別視頻的動(dòng)作類別，包括：

在每幀圖像上的像素所對(duì)應(yīng)的動(dòng)作類別概率中，確定所述動(dòng)作實(shí)例檢測(cè)框中的像素所對(duì)應(yīng)的動(dòng)作類別；