[發(fā)明專利]行為識(shí)別方法、電子裝置和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110801176.7
• 申請(qǐng)日: 2021-07-15
• 公開(kāi)（公告）號(hào): CN113657163A
• 公開(kāi)（公告）日: 2021-11-16
• 發(fā)明（設(shè)計(jì)）人: 張澍;魏乃科;潘華東
• 申請(qǐng)（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 杭州華進(jìn)聯(lián)浙知識(shí)產(chǎn)權(quán)代理有限公司 33250
• 代理人: 范麗霞

1.一種行為識(shí)別方法，其特征在于，包括：

基于包含目標(biāo)對(duì)象的待處理行為的監(jiān)控視頻，確定所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)序列，所述關(guān)鍵點(diǎn)序列包括所述目標(biāo)對(duì)象在所述監(jiān)控視頻的多個(gè)視頻幀中的關(guān)鍵點(diǎn)信息；

根據(jù)所述關(guān)鍵點(diǎn)序列，確定與所述待處理行為對(duì)應(yīng)的姿態(tài)類型序列；

對(duì)所述關(guān)鍵點(diǎn)序列進(jìn)行特征提取，得到第一行為特征；

對(duì)所述姿態(tài)類型序列進(jìn)行特征提取，得到第二行為特征；

基于所述第一行為特征和所述第二行為特征，對(duì)所述待處理行為進(jìn)行識(shí)別。

2.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，所述方法還包括：

若對(duì)所述待處理行為進(jìn)行識(shí)別的結(jié)果中，所述待處理行為的類型與第一姿態(tài)類型相對(duì)應(yīng)，且確定所述待處理行為的類型為設(shè)置的異常識(shí)別類型，則進(jìn)行報(bào)警處理；其中，所述第一姿態(tài)類型是所述目標(biāo)對(duì)象在所述監(jiān)控視頻中最后一幀對(duì)應(yīng)的姿態(tài)類型。

3.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，所述確定所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)序列，具體包括：

獲取所述監(jiān)控視頻中當(dāng)前幀數(shù)據(jù)和關(guān)聯(lián)幀數(shù)據(jù)，其中，所述當(dāng)前幀數(shù)據(jù)是所述監(jiān)控視頻的多個(gè)視頻幀中的任意一幀數(shù)據(jù)，所述關(guān)聯(lián)幀數(shù)據(jù)是所述當(dāng)前幀數(shù)據(jù)的前一幀數(shù)據(jù)；

根據(jù)所述當(dāng)前幀數(shù)據(jù)確定第一熱力圖；

根據(jù)所述關(guān)聯(lián)幀數(shù)據(jù)確定第二熱力圖；

根據(jù)所述第一熱力圖和所述第二熱力圖，確定第三熱力圖；其中，所述第三熱力圖是基于所述關(guān)聯(lián)幀數(shù)據(jù)預(yù)測(cè)所述目標(biāo)對(duì)象在所述當(dāng)前幀的熱力圖；

根據(jù)所述第一熱力圖和所述第三熱力圖，確定所述目標(biāo)對(duì)象在當(dāng)前幀中的熱力圖；

根據(jù)所述目標(biāo)對(duì)象在當(dāng)前幀中的熱力圖，獲取當(dāng)前幀中與所述目標(biāo)對(duì)象對(duì)應(yīng)的關(guān)鍵點(diǎn)信息。

4.根據(jù)權(quán)利要求3所述的行為識(shí)別方法，其特征在于，根據(jù)所述第一熱力圖和所述第二熱力圖，確定第三熱力圖包括：

根據(jù)所述第一熱力圖與所述第二熱力圖的差，確定第四熱力圖；

根據(jù)所述第二熱力圖和所述第四熱力圖，確定所述第三熱力圖。

5.根據(jù)權(quán)利要求3所述的行為識(shí)別方法，其特征在于，根據(jù)所述第一熱力圖和所述第三熱力圖，確定所述目標(biāo)對(duì)象在當(dāng)前幀中的熱力圖包括：

將所述第一熱力圖與所述第三熱力圖進(jìn)行融合，得到所述目標(biāo)對(duì)象在當(dāng)前幀中的熱力圖。

6.根據(jù)權(quán)利要求4所述的行為識(shí)別方法，其特征在于，根據(jù)所述第二熱力圖和所述第四熱力圖，確定所述第三熱力圖包括：

基于關(guān)鍵點(diǎn)提取模塊，對(duì)所述第二熱力圖和所述第四熱力圖中的關(guān)鍵點(diǎn)進(jìn)行識(shí)別，得到所述第二熱力圖對(duì)應(yīng)的關(guān)鍵點(diǎn)信息和所述第四熱力圖對(duì)應(yīng)的關(guān)鍵點(diǎn)信息；

根據(jù)所述第二熱力圖對(duì)應(yīng)的關(guān)鍵點(diǎn)信息和所述第四熱力圖對(duì)應(yīng)的關(guān)鍵點(diǎn)信息，確定所述第三熱力圖。

7.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，所述基于包含目標(biāo)對(duì)象的待處理行為的監(jiān)控視頻，確定所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)序列，具體包括：

基于所述監(jiān)控視頻，獲取當(dāng)前幀的關(guān)鍵點(diǎn)信息、所述當(dāng)前幀前n幀的關(guān)鍵點(diǎn)信息和所述當(dāng)前幀后m幀的關(guān)鍵點(diǎn)信息，其中，所述當(dāng)前幀為所述監(jiān)控視頻的多個(gè)視頻幀中除第一視頻幀和最后一個(gè)視頻幀以外的任一視頻幀；

根據(jù)所述當(dāng)前幀的關(guān)鍵點(diǎn)信息、所述當(dāng)前幀前n幀的關(guān)鍵點(diǎn)信息和所述當(dāng)前幀后m幀的關(guān)鍵點(diǎn)信息，確定所述當(dāng)前幀平滑后的關(guān)鍵點(diǎn)信息；

根據(jù)所述當(dāng)前幀平滑后的關(guān)鍵點(diǎn)信息確定所述目標(biāo)對(duì)象的關(guān)鍵點(diǎn)序列。

8.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，對(duì)所述姿態(tài)類型序列進(jìn)行特征提取，得到第二行為特征之前包括：

獲取當(dāng)前幀的姿態(tài)類型對(duì)應(yīng)的置信度、所述當(dāng)前幀前p幀的姿態(tài)類型對(duì)應(yīng)的置信度和所述當(dāng)前幀后q幀的姿態(tài)類型對(duì)應(yīng)的置信度，其中，所述當(dāng)前幀為所述監(jiān)控視頻的多個(gè)視頻幀中除第一視頻幀和最后一幀視頻幀以外的任一視頻幀；

根據(jù)所述當(dāng)前幀的姿態(tài)類型對(duì)應(yīng)的置信度、所述當(dāng)前幀前p幀的姿態(tài)類型對(duì)應(yīng)的置信度和所述當(dāng)前幀后q幀的姿態(tài)類型對(duì)應(yīng)的置信度，確定所述當(dāng)前幀平滑后的姿態(tài)類型；

根據(jù)所述當(dāng)前幀平滑后的姿態(tài)類型確定所述姿態(tài)類型序列。