[發(fā)明專利]一種基于深度學(xué)習(xí)和姿態(tài)估計(jì)的監(jiān)控中人體動(dòng)作識(shí)別方法

有效

• 申請?zhí)枺?/td>: 201910513337.5
• 申請日: 2019-06-14
• 公開（公告）號(hào): CN110222665B
• 公開（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: 秦臻;張揚(yáng);丁熠;秦志光
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/52;G06V10/764;G06V10/82
• 代理公司: 北京正華智誠專利代理事務(wù)所(普通合伙) 11870
• 代理人: 韋海英

1.一種基于深度學(xué)習(xí)和姿態(tài)估計(jì)的監(jiān)控中人體動(dòng)作識(shí)別方法，其特征在于，包括：

S1、構(gòu)建基于相對部位關(guān)節(jié)特征表示的多流動(dòng)作識(shí)別模型；

S2、對人體骨骼動(dòng)作數(shù)據(jù)進(jìn)行預(yù)處理和相對部位關(guān)節(jié)特征表示的轉(zhuǎn)換；

S3、將轉(zhuǎn)換后的所述相對部位關(guān)節(jié)特征表示輸入多流動(dòng)作識(shí)別模型中進(jìn)行模型的訓(xùn)練和評(píng)估，選取多輪迭代后收斂識(shí)別率最高的最優(yōu)模型；

S4、獲取監(jiān)控視頻實(shí)時(shí)場景下的監(jiān)控片段，采用姿態(tài)估計(jì)算法得到監(jiān)控片段中人體的骨骼動(dòng)作序列，并對骨骼動(dòng)作序列進(jìn)行預(yù)處理；

S5、對預(yù)處理后的骨骼動(dòng)作序列進(jìn)行特征表示轉(zhuǎn)換；

S6、使用所述最優(yōu)模型識(shí)別預(yù)處理和特征表示轉(zhuǎn)換后的骨骼動(dòng)作序列中的人體動(dòng)作，得到動(dòng)作分類結(jié)果；

S7、將識(shí)別的分類結(jié)果與預(yù)設(shè)危險(xiǎn)動(dòng)作類別進(jìn)行對比，并返回對比結(jié)果給監(jiān)控工作人員；

所述步驟S1構(gòu)建多流動(dòng)作識(shí)別模型的方法為：

復(fù)合CNN和LSTM網(wǎng)絡(luò)單元，在CNN和LSTM之間引入激活函數(shù)、隨機(jī)失活和維度變換，整合成LSTM-CNN單元，用以提取運(yùn)動(dòng)骨骼序列的時(shí)空運(yùn)動(dòng)特征，并采用LSTM-CNN單元搭建得到多流動(dòng)作識(shí)別模型；

使用一層公共的LSTM-CNN網(wǎng)絡(luò)單元來提取低層運(yùn)動(dòng)特征，5個(gè)三層的LSTM-CNN多流網(wǎng)絡(luò)并行提取人體骨骼不同部位的不同運(yùn)動(dòng)特征；

5個(gè)不同部位的運(yùn)動(dòng)特征圖在時(shí)空池化過后，運(yùn)用全連接和分類器將特征映射到分類得分向量；

采用權(quán)重融合策略，將5個(gè)分類得分融合得到最后的分類結(jié)果；

所述步驟S2中將原始骨骼序列關(guān)節(jié)的特征表示轉(zhuǎn)換為相對部位關(guān)節(jié)特征表示的方法為：

將骨骼序列中的人體骨骼關(guān)節(jié)分為5個(gè)部分，包括左臂、右臂、左腿、右腿、軀干，每一部位包含若干個(gè)關(guān)節(jié)點(diǎn)；

每個(gè)部位選取一個(gè)靠近骨骼重心的關(guān)節(jié)點(diǎn)作為局部根節(jié)點(diǎn)；

計(jì)算每個(gè)部位中其它關(guān)節(jié)點(diǎn)到相應(yīng)局部根節(jié)點(diǎn)的相對位置；

計(jì)算5個(gè)局部根節(jié)點(diǎn)到骨骼重心的相對位置，得到的新的坐標(biāo)表示即為相對部位關(guān)節(jié)特征表示，其計(jì)算公式為：

其中，是特征表示轉(zhuǎn)換前第t幀中關(guān)節(jié)點(diǎn)j的特征表示，x_j,t是特征轉(zhuǎn)換之后的表示，r_i表示第i個(gè)部位的局部根節(jié)點(diǎn)關(guān)節(jié)，c表示人體骨骼的重心，n是關(guān)節(jié)點(diǎn)的個(gè)數(shù)，x_c,t表示t幀中重心的特征表示。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和姿態(tài)估計(jì)的監(jiān)控中人體動(dòng)作識(shí)別方法，其特征在于，所述步驟S2中人體骨骼動(dòng)作數(shù)據(jù)進(jìn)行預(yù)處理的方法為：

采用隨機(jī)滑動(dòng)窗口策略，設(shè)定窗口長度，在運(yùn)動(dòng)骨骼序列中隨機(jī)截取一段作為輸入，當(dāng)序列長度小于窗口長度時(shí)，采用零填充補(bǔ)全。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和姿態(tài)估計(jì)的監(jiān)控中人體動(dòng)作識(shí)別方法，其特征在于，所述步驟S3中模型的訓(xùn)練和評(píng)估的方法為：

將轉(zhuǎn)換后的運(yùn)動(dòng)骨骼序列輸入到多流動(dòng)作識(shí)別模型中，設(shè)定訓(xùn)練輪數(shù)為60輪，每5輪使用測試集進(jìn)行一次評(píng)估，模型訓(xùn)練的初始學(xué)習(xí)率設(shè)定為0.01，在10輪和50輪后學(xué)習(xí)率降為原來的十分之一；

每5輪的模型評(píng)估中，使用識(shí)別準(zhǔn)確率作為評(píng)估標(biāo)準(zhǔn)，選取12次評(píng)估中識(shí)別準(zhǔn)確率最高的模型作為輸出模型進(jìn)行保存，作為應(yīng)用階段使用的最優(yōu)模型。

4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和姿態(tài)估計(jì)的監(jiān)控中人體動(dòng)作識(shí)別方法，其特征在于，所述步驟S4中得到并預(yù)處理骨骼動(dòng)作序列的方法為：

截取監(jiān)控視頻中固定長度的視頻，采用局部親和域姿態(tài)估計(jì)算法逐幀估計(jì)人體姿態(tài)，得到骨骼動(dòng)作序列；并對所述骨骼動(dòng)作序列進(jìn)行標(biāo)準(zhǔn)化和去中心化，消除尺度和坐標(biāo)的影響。

5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和姿態(tài)估計(jì)的監(jiān)控中人體動(dòng)作識(shí)別方法，其特征在于，所述步驟S6中將預(yù)處理和特征轉(zhuǎn)換過后的骨骼動(dòng)作序列輸入到訓(xùn)練得到的最優(yōu)模型中，得到動(dòng)作分類結(jié)果。