[發(fā)明專(zhuān)利]基于卷積神經(jīng)網(wǎng)絡(luò)的交互動(dòng)作的識(shí)別方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910914052.2
• 申請(qǐng)日: 2019-09-25
• 公開(kāi)（公告）號(hào): CN110717422A
• 公開(kāi)（公告）日: 2020-01-21
• 發(fā)明（設(shè)計(jì)）人: 宋波
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京影譜科技股份有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 11694 北京萬(wàn)思博知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 高鎮(zhèn)

本申請(qǐng)公開(kāi)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的交互動(dòng)作的識(shí)別方法和系統(tǒng)，該方法包括：將采集到的包含人的肢體動(dòng)作的圖片進(jìn)行標(biāo)注并分類(lèi)，將分類(lèi)后的多個(gè)肢體動(dòng)作圖片作為訓(xùn)練數(shù)據(jù)集；將訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本輸入DCNN深度卷積神經(jīng)網(wǎng)絡(luò)獲得訓(xùn)練樣本的類(lèi)別特征向量；利用FNN模糊神經(jīng)網(wǎng)絡(luò)計(jì)對(duì)DCNN深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到交互動(dòng)作的DCNN?FNN訓(xùn)練模型；采用該訓(xùn)練模型識(shí)別待識(shí)別圖片的肢體動(dòng)作的類(lèi)別。本申請(qǐng)利用FNN模糊神經(jīng)網(wǎng)絡(luò)優(yōu)化算法可以加快深度卷積神經(jīng)網(wǎng)絡(luò)DCNN的收斂速度，以快速得到交互動(dòng)作的DCNN?FNN訓(xùn)練模型，從而可以快速、準(zhǔn)確地識(shí)別待識(shí)別圖片的肢體動(dòng)作的類(lèi)別。

技術(shù)領(lǐng)域

本申請(qǐng)涉及交互動(dòng)作的圖像識(shí)別領(lǐng)域，特別是涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的交互動(dòng)作的識(shí)別方法和系統(tǒng)。

背景技術(shù)

人體交互動(dòng)作識(shí)別方法一般分為基于整體的人體交互動(dòng)作和基于個(gè)體的人體交互動(dòng)作的識(shí)別方法。

其中，基于整體的人體交互動(dòng)作的識(shí)別方法是指將人體交互動(dòng)作當(dāng)作一個(gè)整體來(lái)描述，包括視頻中參與交互動(dòng)作所有的人；現(xiàn)有技術(shù)中的一種識(shí)別方法是把交互動(dòng)作當(dāng)作一個(gè)單人動(dòng)作處理，并結(jié)合了全局特征和局部特征來(lái)識(shí)別人體的交互動(dòng)作；還有一些識(shí)別方法是利用密度軌跡與四種先進(jìn)的特征編碼方法來(lái)進(jìn)行識(shí)別的；但是上述基于整體的人體交互動(dòng)作的識(shí)別方法需要相對(duì)復(fù)雜的特征表示形式以此來(lái)提高識(shí)別模型分類(lèi)的準(zhǔn)確率，同時(shí)也容易忽略人體交互動(dòng)作的內(nèi)在屬性。

而現(xiàn)有技術(shù)中的基于個(gè)體的人體交互動(dòng)作識(shí)別方法是把人體交互動(dòng)作理解成單人個(gè)體原子動(dòng)作的組合；首先，分別分析交互動(dòng)作中每個(gè)個(gè)體的動(dòng)作；接著分析個(gè)體之間的特征信息；根據(jù)該特征信息最終獲得最終的分類(lèi)結(jié)果。

現(xiàn)有技術(shù)中還有一種識(shí)別方法是基于人體交互動(dòng)作發(fā)生的過(guò)程所考慮的，該現(xiàn)有技術(shù)提出了分層結(jié)構(gòu)的交互動(dòng)作識(shí)別方法，即根據(jù)時(shí)間順序?qū)?dòng)作分成動(dòng)作開(kāi)始時(shí)期、動(dòng)作執(zhí)行時(shí)期和動(dòng)作結(jié)束時(shí)期，在動(dòng)作開(kāi)始與結(jié)束時(shí)期把交互動(dòng)作分別看作個(gè)體動(dòng)作，在交互動(dòng)作執(zhí)行時(shí)期將交互動(dòng)作當(dāng)作一個(gè)整體以提取動(dòng)作的特征，并在動(dòng)作分類(lèi)階段將分類(lèi)結(jié)果加權(quán)融合，該方法由于需要分層，因此識(shí)別過(guò)程比較復(fù)雜；

另外還有按照時(shí)間順序關(guān)鍵姿勢(shì)的交互動(dòng)作識(shí)別方法，該交互方法是將交互動(dòng)作的兩人看作兩個(gè)獨(dú)立的個(gè)體，分別學(xué)習(xí)每個(gè)個(gè)體的模型參數(shù)以進(jìn)行識(shí)別，但是該種識(shí)別方法卻不能捕捉人的交互信息，因此這一識(shí)別方法主要對(duì)個(gè)體的動(dòng)作進(jìn)行分析處理，由于存在個(gè)體遮擋與自遮擋現(xiàn)象，因此會(huì)干擾動(dòng)作分類(lèi)的結(jié)果。

綜上所述，現(xiàn)有技術(shù)中的交互動(dòng)作的識(shí)別方法存在識(shí)別過(guò)程復(fù)雜、準(zhǔn)確率低。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于克服上述問(wèn)題或者至少部分地解決或緩減解決上述問(wèn)題。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的交互動(dòng)作的識(shí)別方法，該識(shí)別方法包括：

采集步驟：采集包含人的肢體動(dòng)作的視頻流，將人的肢體動(dòng)作進(jìn)行標(biāo)注并分類(lèi)，獲得多個(gè)肢體動(dòng)作圖片，將所述多個(gè)肢體動(dòng)作圖片作為訓(xùn)練數(shù)據(jù)集；

訓(xùn)練步驟：將所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本輸入DCNN深度卷積神經(jīng)網(wǎng)絡(luò)中，提取所述訓(xùn)練樣本的HOG特征向量，并利用SVM分類(lèi)器對(duì)所述HOG特征向量進(jìn)行分類(lèi)，獲得訓(xùn)練樣本的類(lèi)別特征向量；

優(yōu)化步驟：利用FNN模糊神經(jīng)網(wǎng)絡(luò)計(jì)算所述訓(xùn)練樣本的類(lèi)別特征向量的最小化整體誤差函數(shù)，利用該最小化整體誤差函數(shù)對(duì)DCNN深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到交互動(dòng)作的DCNN-FNN訓(xùn)練模型；

識(shí)別步驟：采用所述交互動(dòng)作的DCNN-FNN訓(xùn)練模型識(shí)別待識(shí)別圖片的肢體動(dòng)作的類(lèi)別。

可選的，在獲得訓(xùn)練樣本的類(lèi)別特征向量前確定該訓(xùn)練樣本中的圖片的對(duì)比度：

計(jì)算訓(xùn)練樣本中的圖片的累積直方圖以得到該圖片的實(shí)際累積頻率；