[發明專利]時序行為檢測、響應方法及裝置、設備、介質

在審

• 申請號: 202011353538.2
• 申請日: 2020-11-27
• 公開（公告）號: CN112418114A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 陳廣
• 申請（專利權）人: 廣州華多網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 廣州利能知識產權代理事務所(普通合伙) 44673
• 代理人: 王增鑫

1.一種時序行為檢測方法，其特征在于，包括如下步驟：

對視頻流進行特征提取獲得包含空間和時序特征信息的空時特征圖；

依據所述空時特征圖確定多個時序候選框，獲得所述時序候選框的偏移量及其包含目標時序行為的概率分數，根據所述概率分數優選出具有較高置信度的若干個候選框；

根據所述時序候選框從所述空時特征圖中對應提取包含了時序特征的待池化特征圖，將其池化為結果特征圖；

將結果特征圖輸出至全連接層，由全連接層完成視頻行為分類和回歸，輸出所述視頻流的分類結果數據。

2.根據權利要求1所述的方法，其特征在于，根據所述時序候選框從所述空時特征圖中對應提取包含了時序特征的待池化特征圖，將其池化為結果特征圖的步驟，包括：

根據優選出的各個候選框，從所述空時特征圖中提取出對應的待池化特征圖；

將待池化特征圖分割成多個空時子特征圖，在多個空時子特征之間保留該候選框相對應的時序特征；

適用最大值池化函數對所述空時子特征圖進行池化獲得結果特征圖。

3.根據權利要求1所述的方法，其特征在于，根據所述時序候選框從所述空時特征圖中對應提取包含了時序特征的待池化特征圖，將其池化為結果特征圖的步驟，包括：

根據優選出的各個候選框所占時序長度從所述空時特征圖中提取其本身及其之前與之后的屬于連續片段的待池化特征圖；

將各個片段的待池化特征圖分割成空時子特征圖，且在多個空時子特征之間保留該候選框相對應的時序特征；

適用最大值池化函數分別對各個片段的所述空時子特征圖進行池化并統一為結果特征圖。

4.根據權利要求1所述的方法，其特征在于，將候選框池化為多個具有相同維度的特征圖并輸出至全連接層的步驟中，包括：

根據優選出的各個候選框所占時序長度從所述空時特征圖中提取其本身及其之前與之后的屬于連續片段的待池化特征圖；

將各個片段的待池化特征圖分割成空時子特征圖，且在多個空時子特征之間保留該候選框相對應的時序特征；

適用最大值池化函數分別對各個片段的所述空時子特征圖進行池化并統一為結果特征圖；

基于所述各個片段的空時子特征圖及結果特征圖，在保留其結構化編碼特征的基礎上，對特征在同一空間點上沿著時序維度進行相關性計算，獲得相應的編碼特征相應的結果特征圖。

5.根據權利要求1所述的方法，其特征在于，對視頻流進行特征提取獲得包含空間和時序特征信息的空時特征圖的步驟中：利用C3D網絡的多個卷積層，在保持時序分辨率不變的條件下，將所述視頻流逐級下采樣降低空間分辨率，獲得所述的空時特征圖。

6.根據權利要求1至5中任意一項所述的方法，其特征在于：依據所述空時特征圖確定多個時序候選框，獲得所述時序候選框的偏移量及其包含目標時序行為的概率分數，根據所述概率分數優選出具有較高置信度的若干個候選框的步驟，包括：

依據所述空時特征圖進行池化，獲得僅保留了時序特征信息的一維特征圖；

評估所述一維特征圖中各個時序點的控制區域屬于目標時序行為內的第一概率分數，并行地，評估所述一維特征圖的時序點中一系列候選框的偏移量及該候選框包含目標時序行為的第二概率分數；

根據所述第一概率分數和第二概率分數優選出具有較高置信度的若干個候選框。

7.根據權利要求6所述的方法，評估所述一維特征圖中各個時序點的控制區域屬于目標時序行為內的第一概率分數的步驟，包括：

采用預設長度的時序窗口在所述一維特征圖上滑動以獲取每個時序點的特征及其上下文信息；

將該時序窗口對應的特征全連接到預設的前景與背景二分類網絡，確定出相應的時序點控制區域屬于目標時序行為內的第一概率分數。