[發(fā)明專利]對象的行為識別方法及裝置

在審

• 申請?zhí)枺?/td>: 202110915905.1
• 申請日: 2021-08-10
• 公開（公告）號: CN113627334A
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計）人: 張澍;楊樹松;馬彥波;俞益;張艷;趙敏;魏乃科;潘華東
• 申請（專利權(quán)）人: 浙江大華技術(shù)股份有限公司;寧波市軌道交通集團(tuán)有限公司運營分公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 趙靜

1.一種對象的行為識別方法，其特征在于，包括：

對連續(xù)多幀圖像中的目標(biāo)對象的關(guān)鍵點進(jìn)行檢測，得到目標(biāo)對象的關(guān)鍵點序列，其中，所述關(guān)鍵點序列中包括所述連續(xù)多幀圖像中所述目標(biāo)對象的關(guān)鍵點；

對所述關(guān)鍵點序列進(jìn)行分析，得到所述目標(biāo)對象的靜態(tài)特征和所述目標(biāo)對象的動態(tài)特征，其中，所述靜態(tài)特征表示所述目標(biāo)對象在同一幀圖像中不同關(guān)鍵點的位置關(guān)系，所述動態(tài)特征表示不同幀圖像中所述目標(biāo)對象的相同關(guān)鍵點的位置關(guān)系；

基于所述靜態(tài)特征和所述動態(tài)特征，對所述目標(biāo)對象的行為進(jìn)行識別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述靜態(tài)特征和所述動態(tài)特征，對所述目標(biāo)對象的行為進(jìn)行識別，包括：

將所述靜態(tài)特征輸入行為識別神經(jīng)網(wǎng)絡(luò)模型的第一主干網(wǎng)絡(luò)，通過所述第一主干網(wǎng)絡(luò)對所述靜態(tài)特征進(jìn)行特征提取，得到目標(biāo)靜態(tài)特征；

將所述動態(tài)特征輸入所述行為識別神經(jīng)網(wǎng)絡(luò)模型的第二主干網(wǎng)絡(luò)，通過所述第二主干網(wǎng)絡(luò)對所述動態(tài)特征進(jìn)行特征提取，得到目標(biāo)動態(tài)特征；

通過所述目標(biāo)靜態(tài)特征和所述目標(biāo)動態(tài)特征，得到所述目標(biāo)對象的行為識別結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過所述目標(biāo)靜態(tài)特征和所述目標(biāo)動態(tài)特征，得到所述目標(biāo)對象的行為識別結(jié)果，包括：

將所述目標(biāo)靜態(tài)特征和所述目標(biāo)動態(tài)特征輸入所述行為識別神經(jīng)網(wǎng)絡(luò)模型的全連接層；

通過所述全連接層對所述目標(biāo)靜態(tài)特征和所述目標(biāo)動態(tài)特征進(jìn)行分析，得到目標(biāo)對象的行為類別，其中，所述目標(biāo)對象的行為識別結(jié)果包括所述目標(biāo)對象的行為類別。

4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，所述靜態(tài)特征包括以下至少之一：

所述目標(biāo)對象的距離編碼特征、所述目標(biāo)對象的方向編碼特征，以及對所述目標(biāo)對象的距離編碼特征和目標(biāo)對象的方向編碼特征進(jìn)行融合得到的特征。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，對所述關(guān)鍵點序列進(jìn)行分析，得到所述目標(biāo)對象的靜態(tài)特征，包括：

確定每幀圖像的多個關(guān)鍵點中任意兩個關(guān)鍵點之間的距離編碼，得到所述靜態(tài)特征中的所述距離編碼特征。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對所述關(guān)鍵點序列進(jìn)行分析，得到所述目標(biāo)對象的靜態(tài)特征，包括：

確定每幀圖像的多個關(guān)鍵點中任意兩個關(guān)鍵點之間的方向編碼，得到所述靜態(tài)特征中的所述方向編碼特征。

7.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，所述動態(tài)特征包括以下至少之一：

所述目標(biāo)對象的軌跡編碼特征、所述目標(biāo)對象的方向軌跡編碼特征，以及所述目標(biāo)對象的軌跡編碼特征和目標(biāo)對象的方向軌跡編碼特征進(jìn)行融合得到的特征。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述對所述關(guān)鍵點序列進(jìn)行分析，得到所述目標(biāo)對象的動態(tài)特征，包括：

根據(jù)預(yù)設(shè)參數(shù)長度在所述連續(xù)多幀圖像中選取出M幀圖像，其中，所述M是整數(shù)；

確定所述M幀圖像中相應(yīng)關(guān)鍵點的的坐標(biāo)差值，為所述動態(tài)特征中的所述軌跡編碼特征。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述對所述關(guān)鍵點序列進(jìn)行分析，得到所述目標(biāo)對象的動態(tài)特征，包括：

根據(jù)預(yù)設(shè)參數(shù)長度在所述連續(xù)多幀圖像中選取出M幀圖像；

根據(jù)所述出M幀圖像的方向編碼特征，確定所述動態(tài)特征中的所述方向軌跡編碼特征。

10.一種對象的行為識別裝置，其特征在于，包括：

檢測模塊，用于對連續(xù)多幀圖像中的目標(biāo)對象的關(guān)鍵點進(jìn)行檢測，得到目標(biāo)對象的關(guān)鍵點序列，其中，所述關(guān)鍵點序列中包括所述連續(xù)多幀圖像中所述目標(biāo)對象的關(guān)鍵點；

分析模塊，用于對所述關(guān)鍵點序列進(jìn)行分析，得到所述目標(biāo)對象的靜態(tài)特征和所述目標(biāo)對象的動態(tài)特征，其中，所述靜態(tài)特征表示所述目標(biāo)對象在同一幀圖像中不同關(guān)鍵點的位置關(guān)系，所述動態(tài)特征表示不同幀圖像中所述目標(biāo)對象的相同關(guān)鍵點的位置關(guān)系；

識別模塊，用于基于所述靜態(tài)特征和所述動態(tài)特征，對所述目標(biāo)對象的行為進(jìn)行識別。