[發明專利]一種行為檢測方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202110779235.5
• 申請日: 2021-07-09
• 公開（公告）號: CN113657155A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 蔡寧;趙雷;潘華東;殷俊
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 李洋

1.一種行為檢測方法，其特征在于，所述方法包括：

獲取待處理視頻流，所述待處理視頻流中包含待檢測對象；

基于所述待處理視頻流包含的視頻幀中所述待檢測對象的行為特征，確定所述待檢測對象的待檢測行為與目標行為的第一相似度參考信息；以及

基于所述待處理視頻流，獲取所述待檢測對象的關鍵點的關鍵點分布信息，并基于所述關鍵點分布信息，確定所述待檢測對象的待檢測行為與所述目標行為的第二相似度參考信息；

根據所述第一相似度參考信息和所述第二相似度參考信息，確定所述待檢測對象的待檢測行為是否是所述目標行為。

2.根據權利要求1所述的方法，其特征在于，所述獲取待處理視頻流包括：

采集監控視頻，所述監控視頻中包含待檢測對象；

對監控視頻中的視頻幀進行檢測確定待檢測對象，并獲取待檢測對象所在區域；

根據待檢測對象所在區域，對監控視頻中的所有視頻幀進行待檢測對象的關聯跟蹤確定所有記錄待檢測對象的連續視頻幀，得到待處理視頻流。

3.根據權利要求2所述的方法，其特征在于，所述基于所述待處理視頻流包含的視頻幀中所述待檢測對象的行為特征，確定所述待檢測對象的待檢測行為與目標行為的第一相似度參考信息包括：

將所述待處理視頻流包含的視頻幀輸入第一神經網絡模型，得到所述待檢測對象的待檢測行為與目標行為的第一相似度參考信息；所述第一神經網絡模型是基于目標行為對應的行為特征訓練得到的。

4.根據權利要求1所述的方法，其特征在于，所述基于所述待處理視頻流包含的視頻幀中所述待檢測對象的行為特征，確定所述待檢測對象的待檢測行為與目標行為的第一相似度參考信息包括：

將待處理視頻流劃分成K個片段，其中，K為大于等于1的整數；

從所述K個片段的每個片段中選取一視頻幀輸入第二神經網絡模型，得到K個輸出結果；所述第二神經網絡模型是基于目標行為對應的行為特征訓練得到的；

對所述K個輸出結果進行融合，確定所述待檢測對象的待檢測行為與目標行為的第一相似度參考信息。

5.根據權利要求1所述的方法，其特征在于，所述基于所述待處理視頻流，獲取所述待檢測對象的關鍵點的關鍵點分布信息，并基于所述關鍵點分布信息，確定所述待檢測對象的待檢測行為與所述目標行為的第二相似度參考信息包括：

獲取所述待處理視頻流的各視頻幀中待檢測對象的關鍵點的關鍵點分布信息；

基于獲取的各關鍵點分布信息，確定關鍵點分布信息序列；

將所述關鍵點分布信息序列輸入第三神經網絡模型，輸出所述待檢測對象的待檢測行為與目標行為的第二相似度參考信息；所述第三神經網絡模型是基于目標行為對應的關鍵點分布信息序列訓練得到的。

6.根據權利要求1～5任一項所述的方法，其特征在于，所述方法還包括：

獲取待處理視頻流中待檢測對象的聲音特征；

基于所述聲音特征，確定所述待檢測對象的聲音特征與目標行為對應的聲音特征的第三相似度參考信息；

所述根據所述第一相似度參考信息和所述第二相似度參考信息，確定所述待檢測對象的待檢測行為是否是所述目標行為，包括：

根據所述第一相似度參考信息、所述第二相似度參考信息以及所述第三相似度參考信息，確定所述待檢測對象的待檢測行為是否是所述目標行為。

7.根據權利要求6所述的方法，其特征在于，所述基于所述聲音特征，確定所述待檢測對象的聲音特征與目標行為對應的聲音特征的第三相似度參考信息包括：

將待檢測對象的聲音特征輸入第四神經網絡模型，輸出所述待檢測對象的聲音特征與目標行為對應的聲音特征的第三相似度參考信息；所述第四神經網絡模型是基于目標行為對應的聲音特征訓練得到的。