[發(fā)明專利]采用循環(huán)神經(jīng)網(wǎng)絡(luò)依據(jù)骨骼形態(tài)判斷的人體動作檢測方法

在審

• 申請?zhí)枺?/td>: 202110541840.9
• 申請日: 2021-05-18
• 公開（公告）號: CN113205060A
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計）人: 余鋒;劉智賢;姜明華;周昌龍
• 申請（專利權(quán)）人: 武漢紡織大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢維盾知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 42244
• 代理人: 彭永念

本發(fā)明涉及采用循環(huán)神經(jīng)網(wǎng)絡(luò)依據(jù)骨骼形態(tài)判斷的人體動作檢測方法，包括：根據(jù)目標檢測需要，采集視頻圖像，判斷圖像中是否存在目標；從視頻圖像中提取關(guān)鍵幀；根據(jù)關(guān)鍵幀對目標進行姿態(tài)估計，得到全身骨骼形態(tài)以及骨骼節(jié)點集；對骨骼節(jié)點集進行分區(qū)、分類，分別確定骨骼節(jié)點的權(quán)值，得到身體部位骨骼形態(tài)；采用圖卷積神經(jīng)網(wǎng)絡(luò)將身體部位的骨骼形態(tài)和全身骨骼形態(tài)進行特征融合；將得到的融合特征輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，融合前后時刻的時序信息；將循環(huán)神經(jīng)網(wǎng)絡(luò)輸出的圖像特征輸入分類器，得到當前時刻的動作分類結(jié)果。本發(fā)明的檢測方法抽離了背景圖像的影響，結(jié)合人體骨骼關(guān)鍵節(jié)點變化的時空信息對動作進行檢測，提高了識別的準確率，降低了誤判率。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺領(lǐng)域，具體涉及一種采用循環(huán)神經(jīng)網(wǎng)絡(luò)依據(jù)骨骼形態(tài)判斷的人體動作檢測方法。

背景技術(shù)

在現(xiàn)代社會的許多的工作場景中，不少工作仍然具備一定的危險性，由于缺乏必要的監(jiān)督，工作人員在長期的工作中偶爾會放松警惕，沒有按照規(guī)范著裝穿戴，或者違背了工作過程中的規(guī)范操作步驟，由此發(fā)生一些對人的生安全產(chǎn)生威脅的情況。

近幾年來，隨著深度學習神經(jīng)網(wǎng)絡(luò)和計算機視覺技術(shù)的高速發(fā)展，在圖像領(lǐng)域取得了許多可喜的進展，比如在目標識別領(lǐng)域已經(jīng)能做到實時、快速、高效、準確的檢測，因此帶有時序的人體動作檢測也得到了社會更多的關(guān)注，也因此出現(xiàn)了許多行為識別的檢測方法。公開號為CN110569898A的中國專利“一種人體行為識別方法”是通過傳感器數(shù)據(jù)采集，對采集的傳感器數(shù)據(jù)預(yù)處理，再對人體行為特征提取，最后通過設(shè)置幾組對比實驗來選擇最佳的分類器參數(shù)，最后根據(jù)選擇的最佳參數(shù)設(shè)計性能最佳的分類器并進行實驗，并使用該分類器識別一組待識別人體行為數(shù)據(jù)。該方法添加了傳感器，會為工作人員增加額外的穿戴，可能在某些場景下并不適用。公布號為CN109002808B的中國專利“一種人體行為識別方法及系統(tǒng)”，可區(qū)分背景視頻與包含人體行為視頻并識別出其種類的網(wǎng)絡(luò),通過運用多任務(wù)深度學習方法訓練3D卷積神經(jīng)網(wǎng)絡(luò)，將多種人體行為屬性以及背景視頻的固定連續(xù)幀數(shù)的幀塊作為網(wǎng)絡(luò)的輸入,經(jīng)過3D卷積神經(jīng)網(wǎng)絡(luò)訓練后完成識別任務(wù)。該方法包含了對背景的提取識別，在同一背景下識別準確率高，但是泛化能力不夠強，場景變化多則能力不夠強。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)問題是現(xiàn)有的采用神經(jīng)網(wǎng)絡(luò)的動作識別方法復雜度高，計算量大，誤報率高，并且很多方法對視頻的時序特征的重視程度不夠高，或者帶有較強的圖像背景信息，無法在大部分場景中適用。

本發(fā)明的目的是解決上述問題，提供一種采用循環(huán)神經(jīng)網(wǎng)絡(luò)依據(jù)骨骼形態(tài)判斷的人體動作檢測方法，提取出人體動作的骨骼特征圖后，進行基于軀體的分割，對不同的模塊用圖卷積神經(jīng)網(wǎng)絡(luò)進行特征的提取，然后用循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測最后的輸出，由于循環(huán)神經(jīng)網(wǎng)絡(luò)的每個輸出都與前面的輸出具有聯(lián)系，能記住長時序的特征信息，所以在長視頻的動作識別中表現(xiàn)也十分優(yōu)異。本發(fā)明剔除了背景信息，能夠適用于大部分的場景，用特征增強的方法提高識別準確率，減小誤判率。

本發(fā)明的技術(shù)方案是采用循環(huán)神經(jīng)網(wǎng)絡(luò)依據(jù)骨骼形態(tài)判斷的人體動作檢測方法，包括以下步驟，

步驟1：根據(jù)檢測需要，采集視頻圖像，判斷圖像中是否存在目標，若存在目標，則執(zhí)行步驟2，否則重復執(zhí)行步驟1；

步驟2：從視頻圖像中提取關(guān)鍵幀；

步驟3：根據(jù)關(guān)鍵幀對目標進行姿態(tài)估計，得到全身骨骼形態(tài)以及骨骼節(jié)點集；

步驟4：對骨骼節(jié)點進行分區(qū)、分類，對不同類別的骨骼節(jié)點賦予不同的權(quán)值，得到身體部位的骨骼形態(tài)；

步驟5：采用卷積神經(jīng)網(wǎng)絡(luò)將身體部位的骨骼形態(tài)和全身骨骼形態(tài)進行特征融合；

步驟6：將步驟5得到的融合特征輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，進一步地融合前后時刻的時序信息；

步驟7：將循環(huán)神經(jīng)網(wǎng)絡(luò)輸出的圖像特征輸入分類器，得到當前時刻的動作分類結(jié)果。

進一步地，步驟1包括以下子步驟：

步驟1.1：利用廣角攝像機拍攝視頻，從視頻流截取獲得原始圖像樣本；