[發明專利]行為識別方法及裝置、設備和存儲介質

在審

• 申請號: 202110447987.1
• 申請日: 2021-04-25
• 公開（公告）號: CN113111838A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 蘇海昇;王棟梁
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 馬麗;張穎玲

1.一種行為識別方法，其特征在于，所述方法包括：

獲取待識別視頻序列中每一幀圖像中每一對象的檢測結果；其中，所述待識別視頻序列中包括單個對象和/或群體對象；所述群體對象中包括空間距離小于距離閾值的至少兩個對象；

根據每一所述對象的檢測結果，生成至少一個第一序列和/或至少一個第二序列，其中，每一所述第一序列和每一所述第二序列均包括以下之一：同一所述單個對象、所述群體對象；

利用已訓練的多任務識別網絡模型，分別對每一所述第一序列和/或每一所述第二序列進行行為識別，得到每一所述單個對象的行為識別結果和/或所述群體對象的行為識別結果。

2.如權利要求1所述的方法，其特征在于，所述對象的檢測結果至少包括所述對象的檢測框和與所述檢測框關聯的對象標識；

所述根據每一所述對象的檢測結果，生成至少一個第一序列，包括：

根據每一所述對象的檢測框在所在對應幀圖像中的分布情況，確定所述每一幀圖像中的稀疏檢測框；其中，所述稀疏檢測框與所述每一幀圖像中除所述稀疏檢測框之外的其他檢測框之間的重疊次數小于第一次數閾值；

根據所述每一幀圖像中的稀疏檢測框和與所述稀疏檢測框關聯的對象標識，生成所述至少一個第一序列。

3.如權利要求2所述的方法，其特征在于，所述根據每一所述對象的檢測結果，生成至少一個第二序列，包括：

根據每一所述對象的檢測框在所在對應幀圖像中的分布情況，確定所述每一幀圖像中的密集檢測框；其中，所述密集檢測框與所述每一幀圖像中除所述密集檢測框之外的其他檢測框之間的重疊次數大于等于第二次數閾值；所述第二次數閾值大于所述第一次數閾值；

根據所述每一幀圖像中的密集檢測框和與所述密集檢測框關聯的對象標識，生成所述至少一個第二序列。

4.如權利要求2或3所述的方法，其特征在于，所述根據每一所述對象的檢測框在所在對應幀圖像中的分布情況，確定所述每一幀圖像中的稀疏檢測框，包括：

確定所述每一幀圖像所包括的檢測框的數量；

在所述檢測框的數量為1的情況下，將該檢測框確定對應幀圖像中的稀疏檢測框。

5.如權利要求3所述的方法，其特征在于，所述根據每一所述對象的檢測框在所在對應幀圖像中的分布情況，確定所述每一幀圖像中的稀疏檢測框和密集檢測框，包括：

確定所述每一幀圖像所包括的檢測框的數量；

在所述檢測框的數量大于等于2的情況下，根據所述每一幀圖像中每兩個檢測框之間的交并比，生成所述每一幀圖像對應的鄰接矩陣；

將所述鄰接矩陣中匹配次數為零的檢測框作為所述每一幀圖像中的稀疏檢測框；

將所述鄰接矩陣中匹配次數大于等于第三次數閾值的檢測框作為所述每一幀圖像中的密集檢測框；其中，所述第三次數閾值大于所述第二次數閾值。

6.如權利要求2至5任一項所述的方法，其特征在于，所述待識別視頻序列是由幀序列緩沖區中的幀圖像組成的，所述根據所述每一幀圖像中的稀疏檢測框和與所述稀疏檢測框關聯的對象標識，生成所述至少一個第一序列，包括：

針對所述幀序列緩沖區的所有幀圖像，對與每一所述對象標識關聯的稀疏檢測框在空間位置上取并集，得到與每一所述對象標識對應的單個對象的最小包圍框；

按照所述最小包圍框的尺寸大小，截取所述每一幀圖像中與所述最小包圍框的空間位置對應的第一區域圖像；

按照所述每一幀圖像的時間戳，依次連接所述第一區域圖像，得到與每一所述對象標識對應的第一序列。