[發明專利]對象的行為識別方法及裝置

在審

• 申請號: 202110915905.1
• 申請日: 2021-08-10
• 公開（公告）號: CN113627334A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 張澍;楊樹松;馬彥波;俞益;張艷;趙敏;魏乃科;潘華東
• 申請（專利權）人: 浙江大華技術股份有限公司;寧波市軌道交通集團有限公司運營分公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

本發明提供了一種對象的行為識別方法、裝置、存儲介質及電子裝置，包括：對連續多幀圖像中的目標對象的關鍵點進行檢測，得到目標對象的關鍵點序列，其中，關鍵點序列中包括連續多幀圖像中目標對象的關鍵點；對關鍵點序列進行分析，得到目標對象的靜態特征和目標對象的動態特征；基于靜態特征和所述動態特征，對目標對象的行為進行識別。通過本發明，解決了對人體行為預測效率和準確率低的問題，進而達到了利用人體關鍵點信息，對人體行為進行高效精確預測的效果。

技術領域

本發明涉及通信領域，具體而言，涉及一種對象的行為識別方法及裝置。

背景技術

在日常生活中，行為識別技術具有較大的需求和實際應用價值，例如，可以識別人體的行為，比如可以通過檢測目標人物是否處于摔倒、睡眠或疾病的狀態，或者通過目標人物的健身、體育運動或舞蹈等的自動教學，以理解人體全身的肢體語言，確定人體當前動作的含義。在實際場景中，可以通過機場跑道信號、交警信號等對人體行為進行檢測，以增強安保和監控等。

相關技術，通常使用神經網絡模型對人體行為進行識別，通過神經網絡模型對待處理的目標對象的圖片進行人體檢測，得到人體ROI區域，對ROI區域中的人體行為進行識別。然而，圖片ROI區域中的人體圖像一般是靜態特征，而人體行為通常是動態的。僅基于靜態特征分析人體的行為動作準確度較低。

針對相關技術中，人體行為識別準確度較低的問題，目前尚未存在有效的解決方案。

發明內容

本發明實施例提供了一種對象的行為識別方法及裝置，以至少解決相關技術中人體行為識別準確度較低的問題。

根據本發明的一個實施例，提供了一種對象的行為識別方法，包括：一種對象的行為識別方法，其特征在于，包括：對連續多幀圖像中的目標對象的關鍵點進行檢測，得到目標對象的關鍵點序列，其中，所述關鍵點序列中包括所述連續多幀圖像中所述目標對象的關鍵點；對所述關鍵點序列進行分析，得到所述目標對象的靜態特征和所述目標對象的動態特征，其中，所述靜態特征表示所述目標對象在同一幀圖像中不同關鍵點的位置關系，所述動態特征表示不同幀圖像中所述目標對象的相同關鍵點的位置關系；基于所述靜態特征和所述動態特征，對所述目標對象的行為進行識別。

可選地，基于所述靜態特征和所述動態特征，對所述目標對象的行為進行識別，包括：將所述靜態特征輸入行為識別神經網絡模型的第一主干網絡，通過所述第一主干網絡對所述靜態特征進行特征提取，得到目標靜態特征；將所述動態特征輸入所述行為識別神經網絡模型的第二主干網絡，通過所述第二主干網絡對所述動態特征進行特征提取，得到目標動態特征；通過所述目標靜態特征和所述目標動態特征，得到所述目標對象的行為識別結果。

可選地，所述通過所述目標靜態特征和所述目標動態特征，得到所述目標對象的行為識別結果，包括：將所述目標靜態特征和所述目標動態特征輸入所述行為識別神經網絡模型的全連接層；通過所述全連接層對所述目標靜態特征和所述目標動態特征進行分析，得到目標對象的行為類別，其中，所述目標對象的行為識別結果包括所述目標對象的行為類別。

可選地，所述靜態特征包括以下至少之一：所述目標對象的距離編碼特征、所述目標對象的方向編碼特征，以及對所述目標對象的距離編碼特征和目標對象的方向編碼特征進行融合得到的特征。

可選地，對所述關鍵點序列進行分析，得到所述目標對象的靜態特征，包括：確定每幀圖像的多個關鍵點中任意兩個關鍵點之間的距離編碼，得到所述靜態特征中的所述距離編碼特征。

可選地，所述對所述關鍵點序列進行分析，得到所述目標對象的靜態特征，包括：確定每幀圖像的多個關鍵點中任意兩個關鍵點之間的方向編碼，得到所述靜態特征中的所述方向編碼特征。

可選地，所述靜態特征包括以下至少之一：所述目標對象的軌跡編碼特征、所述目標對象的方向軌跡編碼特征，以及所述目標對象的軌跡編碼特征和目標對象的方向軌跡編碼特征進行融合得到的特征。