[發明專利]基于視頻的人體行為識別方法、裝置、設備及存儲介質

有效

• 申請號: 202010025983.X
• 申請日: 2020-01-10
• 公開（公告）號: CN111259751B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 遲至真;李甫;孫昊;何棟梁;龍翔;周志超;王平;文石磊;丁二銳
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 胡艾青;劉芳

1.一種基于視頻的人體行為識別方法，其特征在于，包括：

獲取待識別視頻，其中，所述待識別視頻中包括多個視頻幀；

獲取所述待識別視頻的每一個視頻幀的人體框，其中，每一個所述人體框中包括多個人體關鍵點，每一個所述人體關鍵點具有關鍵點特征；

根據各所述視頻幀的人體框構建特征矩陣，所述特征矩陣中包括每一個人體關鍵點的關鍵點特征、所述待識別視頻中的視頻幀的視頻幀個數、每一個人體框的人體關鍵點的關鍵點個數、每一個視頻幀中的人體框的人體框個數；

在所述視頻幀個數的維度上，對所述特征矩陣進行卷積，得到第一卷積結果，并在所述關鍵點個數的維度上，對所述特征矩陣進行卷積，得到第二卷積結果；

將所述第一卷積結果和所述第二卷積結果輸入到預設分類模型中，得到所述待識別視頻的人體行為類別。

2.根據權利要求1所述的方法，其特征在于，所述獲取待識別視頻，包括：

獲取待處理視頻，并對所述待處理視頻進行抽幀處理，得到所述多個視頻幀，以得到所述待識別視頻。

3.根據權利要求1所述的方法，其特征在于，獲取所述待識別視頻的每一個視頻幀的人體框，包括：

將所述待識別視頻輸入至單階段多尺度目標檢測網絡模型中，得到每一個所述視頻幀中的各人體框；

將每一個所述視頻幀中的各人體框，輸入至預設識別模型中，得到每一個所述人體框中的各人體關鍵點，其中，每一個所述人體框中的人體關鍵點的關鍵點個數為V，V＝21。

4.根據權利要求3所述的方法，其特征在于，所述方法，還包括：

在確定所述人體框中的人體對象被遮擋時，或者，在確定所述人體框中的人體關鍵點的關鍵點個數不是V時，根據所述人體框中的各人體關鍵點，預測出所述人體框的全部的人體關鍵點。

5.根據權利要求4所述的方法，其特征在于，根據所述人體框中的各人體關鍵點，預測出所述人體框的全部的人體關鍵點，包括：

根據所述人體框中的各人體關鍵點，確定所述人體框中的人體對象的人體骨架結構；

根據所述人體骨架結構，確定所述人體框的全部的人體關鍵點。

6.根據權利要求1-5任一項所述的方法，其特征在于，每一個視頻幀中的人體框個數是M，M為正整數；M個人體框，是每一個視頻幀中的人體框置信度最高的前M個人體框；

所述方法，還包括：

獲取每一個視頻幀中的每一個人體框中的人體關鍵點的關鍵點置信度；

對每一個人體框中的人體關鍵點的關鍵點置信度進行加權求和，得到每一個人體框的人體框置信度。

7.根據權利要求1-5任一項所述的方法，其特征在于，在待識別視頻的視頻個數為N時，N為正整數，所述特征矩陣中還包括所述視頻個數。

8.根據權利要求1-5任一項所述的方法，其特征在于，在得到所述待識別視頻的人體行為類別之后，還包括：

在確定所述人體行為類別為預設類別時，發出警示信息，其中，所述警示信息包括以下的一種或多種：語音信息、文字信息、燈光信息、框選信息；

和/或，

在確定所述人體行為類別為預設類別時，對所述待識別視頻進行預設處理，其中，所述預設處理包括以下一種或多種：重復播放處理、刪除處理、遮擋處理。