[發明專利]一種行為檢測方法、系統、設備及機器可讀介質

有效

• 申請號: 201911031016.8
• 申請日: 2019-10-28
• 公開（公告）號: CN110796069B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 周曦;姚志強;李繼偉;高伽林;施志祥
• 申請（專利權）人: 廣州云從博衍智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 尹麗云

1.一種行為檢測方法，其特征在于，包括有：

獲取一個或多個包含有目標行為的提案；

一個或多個分類器，根據所述一個或多個分類器對包含有目標行為的提案進行分類，獲取至少兩個分類結果；每一個分類器包括有一層或多層，每一層包括有一個或多個模板、一個或多個待訓練的卷積神經網絡；所述模板包括一個或多個感知器模型、一個或多個訓練后的卷積神經網絡；其中，基于目標行為概率提案的分類包括：獲取一個或多個第一連續幀圖像，對所述第一連續幀圖像通過一個或多個卷積神經網絡進行卷積，獲得用于預測第一連續幀圖像中出現目標行為的概率，根據所述概率設置不同閾值，生成一個或多個目標行為概率提案分類結果；

和/或，基于目標行為時間尺度提案的分類包括：獲取經過卷積的初始特征矩陣，或者，初始特征矩陣，將其輸入至所述一個或多個模板中進行卷積和感知；

改變卷積和感知后的特征矩陣的時間尺度，使所述分類器中當前層中經過卷積和感知后的特征矩陣時間尺度為下一層中經過卷積和感知后的特征矩陣的時間尺度的兩倍；

再對所述分類器中的特征矩陣進行上采樣，將上采樣結果輸入至一個或多個待訓練的卷積神經網絡進行訓練，生成一個或多個目標行為時間尺度提案分類結果；

對所述至少兩個分類結果進行合并，獲得目標行為檢測結果；包括：根據不同的分類器分別獲取基于目標行為概率提案以及基于目標行為時間尺度提案，篩選出其中重合度最高的基于目標行為的分類結果和基于時間尺度的分類結果，并根據篩選出的分類結果融合得到目標行為檢測結果。

2.根據權利要求1所述的行為檢測方法，其特征在于，分類結果包括以下至少之一：目標行為概率提案、目標行為時間尺度提案。

3.根據權利要求1所述的行為檢測方法，其特征在于，獲取一個或多個包含有目標行為的第一連續幀圖像、第二連續幀圖像；利用一個或多個神經網絡對第一連續幀圖像進行表征，使所述第一連續幀圖像能夠獲取第二連續幀圖像的目標行為特征信息；

根據所述第一連續幀圖像、第二連續幀圖像生成包含有目標行為的提案。

4.根據權利要求3所述的行為檢測方法，其特征在于，利用一個或多個神經網絡對第一連續幀圖像進行表征，使第一連續幀圖像中的每一幀圖像能夠感知當前幀圖像具有的目標行為特征信息、其他幀圖像具有的目標行為特征信息。

5.根據權利要求3所述的行為檢測方法，其特征在于，利用一個或多個神經網絡對第二連續幀圖像進行表征，使第二連續幀圖像中的每一幀圖像能夠感知當前幀圖像具有的目標行為特征信息、其他幀圖像具有的目標行為特征信息。

6.根據權利要求1所述的行為檢測方法，其特征在于，所述目標行為檢測結果包括以下至少之一：目標行為中間檢測結果、目標行為最終檢測結果。

7.根據權利要求6所述的行為檢測方法，其特征在于，根據所述目標行為中間檢測結果或目標行為最終檢測結果更新所述一個或多個分類器中的參數。

8.根據權利要求3所述的行為檢測方法，其特征在于，還包括對第一連續幀圖像、第二連續幀圖像進行標注，所述標注包括以下至少之一：對一個或多個目標行為類別進行標注、對一個或多個目標行為的起始時間進行標注。

9.根據權利要求8所述的行為檢測方法，其特征在于，所述目標行為特征包括以下至少之一：目標行為類別、目標行為起始時間。

10.根據權利要求9所述的行為檢測方法，其特征在于，還包括有將所述目標行為開始時間轉化為第一數值，所述目標行為結束時間轉化為第二數值。

11.根據權利要求4或5所述的行為檢測方法，其特征在于，利用一個或多個神經網絡對第一連續幀圖像或第二連續幀圖像進行表征前，還包括對連續幀圖像進行特征分割，將連續幀圖像分割為一個或多個第一連續幀圖像。