[發明專利]時序行為檢測、響應方法及裝置、設備、介質

在審

• 申請號: 202011353538.2
• 申請日: 2020-11-27
• 公開（公告）號: CN112418114A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 陳廣
• 申請（專利權）人: 廣州華多網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 廣州利能知識產權代理事務所(普通合伙) 44673
• 代理人: 王增鑫

本申請公開一種時序行為檢測、響應方法及裝置、設備、介質，所述檢測方法包括：對視頻流進行特征提取獲得包含空間和時序特征信息的空時特征圖；依據所述空時特征圖確定多個時序候選框，獲得所述時序候選框的偏移量及其包含目標時序行為的概率分數，根據所述概率分數優選出具有較高置信度的若干個候選框；根據所述時序候選框從所述空時特征圖中對應提取包含了時序特征的待池化特征圖，將其池化為結果特征圖；將結果特征圖輸出至全連接層，由全連接層完成視頻行為分類和回歸，輸出所述視頻流的分類結果數據。本申請能夠提升人工神經網絡識別視頻行為的準確率，顯著提升視頻行為在線檢測效果。

技術領域

本申請屬于圖像識別技術，具體涉及一種時序行為檢測、響應方法及其各自相應的神經網絡實現裝置、電子設備、非易失性存儲介質。

背景技術

采用神經網絡進行視頻時序行為識別的技術日益成熟，時下較為流行視頻行為識別方法，采用R-C3D算法實現。R-C3D是Region Convolutional 3D Network for TemporalActivity Detection(時序活動檢測用區域卷積3D網絡)的縮寫，該算法主要是以C3D網絡為基礎，借鑒了Faster RCNN的思路，對于任意的輸入視頻L，先進行proposal(提議，旨在提供時序候選框)，然后進行池化(3D-pooling),最后進行分類和回歸操作。

R-C3D主要包括特征提取網絡、時序候選框建議模塊、行為識別網絡，對于輸入的視頻，先通過C3D多層卷積網絡提取后續供時序候選框建議模塊和行為識別網絡共享的特征，然后通過時序候選框建議模塊優選出存在目標行為的若干候選框，最后，由行為識別網絡對這些候選框中的目標行為進行分類，從而實現行為識別。

R-C3D算法的實施，可以針對任意長度視頻、任意長度行為進行端到端的檢測，其檢測速度很快，可達此前同類其他網絡的5倍，實測多種不同數據集，效果均較佳，具有通用性，廣受業內歡迎。

但是，R-C3D算法基于錨點回歸策略實現，通過假定時序上等長的多個多錨點區來生成候選框，其在進行池化時，采用RoI Pooling(感應趣區域池化)的方式來對各個候選框相對應的特征進行提取后，直接送至全連接層進行分類和回歸，在這一過程中，導致時序特征丟失，導致神經網絡的整體分類能力較弱。

發明內容

本申請的目的旨在提供一種時序行為檢測方法，在此基礎上提供一種應用該方法的時序行為響應方法，同時提供一種神經網絡實現裝置，以及與該視頻響應方法相應的一種電子設備和一種非易失性存儲介質。

為滿足本申請的各個目的，本申請采用如下技術方案：

適應于本申請的目的之一而提供的一種時序行為檢測方法，包括如下步驟：

對視頻流進行特征提取獲得包含空間和時序特征信息的空時特征圖；

依據所述空時特征圖確定多個時序候選框，獲得所述時序候選框的偏移量及其包含目標時序行為的概率分數，根據所述概率分數優選出具有較高置信度的若干個候選框；

根據所述時序候選框從所述空時特征圖中對應提取包含了時序特征的待池化特征圖，將其池化為結果特征圖；

將結果特征圖輸出至全連接層，由全連接層完成視頻行為分類和回歸，輸出所述視頻流的分類結果數據。

一類實施例中，根據所述時序候選框從所述空時特征圖中對應提取包含了時序特征的待池化特征圖，將其池化為結果特征圖的步驟，包括：

根據優選出的各個候選框，從所述空時特征圖中提取出對應的待池化特征圖；

將待池化特征圖分割成多個空時子特征圖，在多個空時子特征之間保留該候選框相對應的時序特征；

適用最大值池化函數對所述空時子特征圖進行池化獲得結果特征圖。