[發(fā)明專利]人體行為識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110699419.0
• 申請(qǐng)日: 2021-06-23
• 公開（公告）號(hào): CN113591560A
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計(jì)）人: 曹聰琦;李嘉康;呂勤毅;郗潤(rùn)平;張艷寧;周德云
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 西安嘉思特知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61230
• 代理人: 劉長(zhǎng)春

本發(fā)明公開了一種人體行為識(shí)別方法，涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，該方法包括：獲取待處理視頻中預(yù)設(shè)數(shù)量個(gè)視頻幀以及各視頻幀中人體關(guān)節(jié)點(diǎn)位置數(shù)據(jù)，將視頻幀輸入預(yù)先訓(xùn)練好的行為識(shí)別模型，以使行為識(shí)別模型在生成預(yù)設(shè)數(shù)量個(gè)視頻幀對(duì)應(yīng)的時(shí)空特征圖和注意力熱圖后，獲得人體關(guān)節(jié)點(diǎn)特征，以確定包含語義信息的人體關(guān)節(jié)點(diǎn)特征，并在獲得每個(gè)包含語義信息的人體關(guān)節(jié)點(diǎn)特征的局部決策結(jié)果后，融合局部決策結(jié)果，得到視頻幀的人體行為識(shí)別結(jié)果。本發(fā)明將人體骨骼區(qū)域視為注意力區(qū)域，在極大程度上摒除了目標(biāo)的無用信息，進(jìn)而提取更有判別力的時(shí)空特征，通過結(jié)合關(guān)節(jié)點(diǎn)語義信息，有效增強(qiáng)了關(guān)節(jié)點(diǎn)特征的表征能力，進(jìn)而提高人體行為識(shí)別模型的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種人體行為識(shí)別方法。

背景技術(shù)

人體行為識(shí)別作為計(jì)算機(jī)視覺中的一個(gè)基本問題,具有廣闊的應(yīng)用前景，例如：智能監(jiān)控、人機(jī)交互的體感游戲、視頻檢索等，因而引起了業(yè)內(nèi)的廣泛關(guān)注。

相關(guān)技術(shù)中，基于視頻的行為識(shí)別根據(jù)數(shù)據(jù)模態(tài)可劃分為基于RGB數(shù)據(jù)的人體行為識(shí)別和基于骨骼數(shù)據(jù)的人體行為識(shí)別。具體地，基于RGB的行為識(shí)別中，深度網(wǎng)絡(luò)的結(jié)構(gòu)主要有雙流卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)結(jié)構(gòu)和3D CNN，RGB數(shù)據(jù)有豐富的外觀信息，能較好地刻畫人與物體的交互，但采集時(shí)容易受到背景圖像的影響，如天氣、光照、拍照角度和衣著的影響，使得從背景圖像中提取特征變得困難。而在基于骨骼的行為識(shí)別中，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)被廣泛用于模擬骨架序列的時(shí)空變化。RNN對(duì)長(zhǎng)時(shí)依賴關(guān)系進(jìn)行建模，但時(shí)序建模是在原始輸入空間上進(jìn)行的，所以很難直接從骨架中學(xué)習(xí)高層次的特征。

顯然，上述兩種方法均不利于提高人體行為識(shí)別的準(zhǔn)確率。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種人體行為識(shí)別方法。本發(fā)明要解決的技術(shù)問題通過以下技術(shù)方案實(shí)現(xiàn)：

本發(fā)明提供一種人體行為識(shí)別方法，包括：

獲取待處理視頻中預(yù)設(shè)數(shù)量個(gè)視頻幀以及各視頻幀中人體關(guān)節(jié)點(diǎn)位置數(shù)據(jù)；

將所述預(yù)設(shè)數(shù)量個(gè)視頻幀輸入預(yù)先訓(xùn)練好的行為識(shí)別模型，以使所述行為識(shí)別模型在生成所述預(yù)設(shè)數(shù)量個(gè)視頻幀對(duì)應(yīng)的時(shí)空特征圖和注意力熱圖后，獲得所述視頻幀中的人體關(guān)節(jié)點(diǎn)特征，以確定包含語義信息的人體關(guān)節(jié)點(diǎn)特征，并在獲得每個(gè)所述包含語義信息的人體關(guān)節(jié)點(diǎn)特征的局部決策結(jié)果后，融合局部決策結(jié)果，得到所述視頻幀的人體行為識(shí)別結(jié)果。

在本發(fā)明的一個(gè)實(shí)施例中，所述行為識(shí)別模型包括特征流、注意力流、局部決策模塊和決策融合模塊。

在本發(fā)明的一個(gè)實(shí)施例中，所述特征流包括多纖維網(wǎng)絡(luò)。

在本發(fā)明的一個(gè)實(shí)施例中，所述將所述預(yù)設(shè)數(shù)量個(gè)視頻幀輸入預(yù)先訓(xùn)練好的行為識(shí)別模型，以使所述行為識(shí)別模型在生成所述預(yù)設(shè)數(shù)量個(gè)視頻幀對(duì)應(yīng)的時(shí)空特征圖和注意力熱圖后，獲得所述視頻幀中的人體關(guān)節(jié)點(diǎn)特征，以確定包含語義信息的人體關(guān)節(jié)點(diǎn)特征，并在獲得每個(gè)所述包含語義信息的人體關(guān)節(jié)點(diǎn)特征的局部決策結(jié)果后，融合局部決策結(jié)果，得到所述視頻幀的人體行為識(shí)別結(jié)果的步驟，包括：

將所述預(yù)設(shè)數(shù)量個(gè)視頻幀輸入預(yù)先訓(xùn)練好的行為識(shí)別模型，以使所述特征流提取所述視頻幀的時(shí)空特征圖、并使所述注意力流根據(jù)所述人體關(guān)節(jié)點(diǎn)位置數(shù)據(jù)生成對(duì)應(yīng)的注意力熱圖；

對(duì)所述時(shí)空特征圖及所述注意力熱圖進(jìn)行雙線性操作，得到所述視頻幀中所有的人體關(guān)節(jié)點(diǎn)特征；

根據(jù)各視頻幀中人體關(guān)節(jié)點(diǎn)位置數(shù)據(jù)以及所述人體關(guān)節(jié)點(diǎn)特征，獲得包含語義信息的人體關(guān)節(jié)點(diǎn)特征；

將所述包含語義信息的人體關(guān)節(jié)點(diǎn)特征輸入所述局部決策模塊，獲得每個(gè)包含語義信息的人體關(guān)節(jié)點(diǎn)特征的局部決策結(jié)果；