[發(fā)明專利]一種基于圖卷積網(wǎng)絡(luò)的人體骨架行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010146319.0
• 申請(qǐng)日: 2020-03-05
• 公開（公告）號(hào): CN111353447B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 曹江濤;趙挺;洪愷臨
• 申請(qǐng)（專利權(quán)）人: 遼寧石油化工大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/764;G06V10/82;G06N3/0442;G06N3/042;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 沈陽銘揚(yáng)聯(lián)創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 21241
• 代理人: 杜蕊

一種基于圖卷積網(wǎng)絡(luò)的人體骨架行為識(shí)別方法，屬于計(jì)算機(jī)視覺及深度學(xué)習(xí)領(lǐng)域，該方法包括通過獲取人體骨架視頻幀并進(jìn)行歸一化處理；構(gòu)建每一幀圖對(duì)應(yīng)的人體關(guān)節(jié)內(nèi)在依賴連接圖，個(gè)體外在依賴連接圖，交互依賴連接圖；獲得交互整體所有關(guān)節(jié)連接圖；為人體關(guān)節(jié)各連接圖各條邊分配權(quán)重值；進(jìn)行圖卷積操作,獲得骨架序列的空間特征；利用長短時(shí)期記憶網(wǎng)絡(luò)進(jìn)行時(shí)序建模，獲得交互行為對(duì)應(yīng)類別。本發(fā)明內(nèi)在依賴連接邊能夠?qū)W習(xí)到基本的人體行為特征,外在依賴連接邊可以學(xué)習(xí)到附加的行為特征，交互依賴連接邊可以更好的學(xué)習(xí)兩個(gè)人的交互關(guān)系，可以更好的表征雙人交互行為的運(yùn)動(dòng)關(guān)系，從而提高識(shí)別性能。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺及深度學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于圖卷積網(wǎng)絡(luò)的人體骨架行為識(shí)別方法。

背景技術(shù)

基于視頻的人類行為識(shí)別與理解是圖像處理與計(jì)算機(jī)視覺領(lǐng)域中備受關(guān)注的前沿方向，隨著深度學(xué)習(xí)和計(jì)算機(jī)視覺的技術(shù)融合和發(fā)展，行為識(shí)別被廣泛應(yīng)用在視頻分析、智能監(jiān)控、人機(jī)交互、增強(qiáng)現(xiàn)實(shí)、視頻檢索等領(lǐng)域。相比于單人的動(dòng)作，雙人交互行為在日常生活中存在更普遍，也更具有難度。雙人交互行為主要分為基于RGB與基于骨架關(guān)節(jié)點(diǎn)數(shù)據(jù)的研究。傳統(tǒng)的RGB視頻由于光照變化，遮擋，背景復(fù)雜等因素魯棒性較差。而基于骨架關(guān)節(jié)點(diǎn)數(shù)據(jù)包含了主要身體關(guān)節(jié)的緊湊三維位置，對(duì)視點(diǎn)、身體尺度和運(yùn)動(dòng)速度的變化具有魯棒性。因此，基于骨架關(guān)節(jié)點(diǎn)數(shù)據(jù)的行為識(shí)別在近年來受到了越來越多的關(guān)注。

基于骨架關(guān)節(jié)點(diǎn)的雙人交互行為識(shí)別方法主要分為基于手工特征和基于深度學(xué)習(xí)方法兩大類。對(duì)于第一類，Vemulapalli^[1]等人將人體骨架表示為Lie群中的一個(gè)點(diǎn)，并在Lie代數(shù)中實(shí)現(xiàn)了時(shí)間建模和分類。Weng^[2]等人將樸素貝葉斯最近鄰(NBNN)方法擴(kuò)展到時(shí)空，并利用階段到類的距離對(duì)行為進(jìn)行分類。此類方法特征設(shè)計(jì)比價(jià)復(fù)雜且識(shí)別準(zhǔn)確率難以進(jìn)一步提高?；谏疃葘W(xué)習(xí)特征的方法可以進(jìn)一步分為基于CNN的模型和基于RNN的模型。對(duì)于基于CNN的方法，即將關(guān)節(jié)點(diǎn)數(shù)據(jù)轉(zhuǎn)化為圖片再送入網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)分類。此類方法忽略了視頻里的時(shí)序信息。對(duì)于基于RNN的方法，可以有效地對(duì)時(shí)序信息進(jìn)行建模，但是卻忽略了關(guān)節(jié)點(diǎn)之間的依賴性及雙人的交互關(guān)系。(詳見[1]Raviteja?Vemulapalli,Felipe?Arrate,and?Rama?Chellappa.Human?action?recognition?by?representing?3dskeletons?as?points?in?a?lie?group.In?CVPR,pages?588–595,2014.[2]Junwu?Weng,Chaoqun?Weng,and?Junsong?Yuan.Spatiotemporal?naive-bayes?nearest-neighbor?forskeleton-based?action?recognition.In?CVPR,pages?4171–4180,2017.)。

最近，隨著圖卷積網(wǎng)絡(luò)(GCN，Graph?Convolutional?Network)的流行應(yīng)用，在行為識(shí)別領(lǐng)域也有很多研究者采用GCN的方法進(jìn)行實(shí)驗(yàn)。但是目前的研究主要是針對(duì)于單人行為而且大多是采用人體自然連接圖，而忽略了人體非自然連接關(guān)節(jié)之間的依賴關(guān)系。在已有的雙人交互的應(yīng)用當(dāng)中，也是將兩個(gè)人分成兩個(gè)個(gè)體分別建模，而忽略了兩個(gè)人之間的交互依賴關(guān)系。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)存在的問題與不足，本發(fā)明提出一種基于圖卷積網(wǎng)絡(luò)的雙人交互行為識(shí)別方法，所述識(shí)別方法包括獲取雙人交互骨架視頻；對(duì)獲取視頻的關(guān)節(jié)點(diǎn)坐標(biāo)進(jìn)行歸一化處理；構(gòu)建人體關(guān)節(jié)內(nèi)在依賴圖、個(gè)體外在依賴圖、交互依賴圖；為三種關(guān)節(jié)連接圖的連接邊分配不同的權(quán)重；送入圖卷積網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)提取空間特征；基于每一幀得到的空間特征，送入長短時(shí)期記憶網(wǎng)絡(luò)中進(jìn)行時(shí)序建模；得到交互行為類別的識(shí)別結(jié)果。

具體包括：

步驟S10，拍攝視頻：啟動(dòng)攝像頭，錄制雙人交互視頻，收集不同動(dòng)作執(zhí)行人的各類交互動(dòng)作的骨架視頻，作為交互動(dòng)作的訓(xùn)練視頻，并對(duì)各類訓(xùn)練視頻進(jìn)行交互行為含義標(biāo)記，建立視頻訓(xùn)練集。