[發明專利]一種行為識別方法及裝置

在審

• 申請號: 202110407936.6
• 申請日: 2021-04-15
• 公開（公告）號: CN113065504A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 程斌
• 申請（專利權）人: 希亞思(上海)信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 徐迪;徐偉

1.一種行為識別方法，其特征在于，包括以下步驟：

獲取識別對象的多幀連續圖像；

提取所述識別對象在各所述圖像中的姿態特征；

按時間順序聯合所述識別對象的各所述姿態特征，以獲取所述識別對象在所述多幀連續圖像中的行為特征；以及

將所述行為特征輸入預先訓練的行為分析模塊，以識別所述識別對象在所述多幀連續圖像中的行為。

2.如權利要求1所述的行為識別方法，其特征在于，所述提取所述識別對象在各所述圖像中的姿態特征的步驟包括：

獲取所述識別對象的多個肢體點在各所述圖像中的坐標信息；以及

根據所述多個肢體點的坐標信息確定所述識別對象在各所述圖像中的姿態特征。

3.如權利要求2所述的行為識別方法，其特征在于，所述獲取所述識別對象的多個肢體點在各所述圖像中的坐標信息的步驟包括：

將各所述圖像分別輸入姿態估計模塊，以分別獲取每幀所述圖像對應的多張置信度圖，其中，每張所述置信度圖對應一類所述肢體點；以及

根據每幀所述圖像的各所述置信度圖中的置信度峰值，確定所述識別對象的各類對應肢體點在各所述圖像中的坐標信息。

4.如權利要求2所述的行為識別方法，其特征在于，所述根據所述多個肢體點的坐標信息確定所述識別對象在各所述圖像中的姿態特征的步驟包括：

根據每兩個相鄰的所述肢體點確定所述識別對象的一段肢體，以確定所述識別對象的多段所述肢體；

根據各段所述肢體的第一肢體點及第二肢體點在一幀所述圖像中的坐標信息，確定各段所述肢體對應于該幀圖像的角度信息；

根據各段所述肢體對應于該幀圖像及前一幀圖像的角度信息，計算各段所述肢體對應于該幀圖像的角度差值信息；

根據各段所述肢體的所述第一肢體點在該幀圖像及所述前一幀圖像中的坐標信息，計算各段所述肢體對應于該幀圖像的肢體點差值信息；以及

根據所述識別對象的各段所述肢體對應于該幀圖像的角度信息、角度差值信息及肢體點差值信息，確定所述識別對象在該幀圖像中的姿態特征。

5.如權利要求4所述的行為識別方法，其特征在于，所述肢體點包括：左腕、左肘、左肩、右腕、右肘、右肩、左踝、左膝、左胯、右踝、右膝及右胯，

所述肢體包括：左小臂、左大臂、右小臂、右大臂、左小腿、左大腿、右小腿及右大腿。

6.如權利要求3所述的行為識別方法，其特征在于，所述多幀連續圖像中包括多個所述識別對象，所述獲取所述識別對象的多個肢體點在各所述圖像中的坐標信息的步驟還包括：

將各所述圖像分別輸入所述姿態估計模塊，以分別獲取每幀所述圖像對應的多張關聯圖，其中，每張所述關聯圖指示從一段肢體的第一肢體點到其第二肢體點的方向信息；以及

根據每幀所述圖像的各所述關聯圖，確定各段對應肢體的所述第一肢體點及所述第二肢體點所屬的識別對象。

7.如權利要求2所述的行為識別方法，其特征在于，所述獲取所述識別對象的多個肢體點在各所述圖像中的坐標信息的步驟包括：

根據屬于同一所述識別對象的所述多個肢體點在一幀所述圖像中的坐標信息，確定所述識別對象在該幀圖像中的人體邊界框；

將該幀圖像中所述識別對象的人體邊界框，分別與前一幀圖像中的各人體邊界框做交并比運算，以計算該幀圖像中所述識別對象的人體邊界框與所述前一幀圖像中的各所述人體邊界框的重合度；以及

根據所述重合度對所述識別對象在各所述圖像中的位置進行追蹤。