[發明專利]一種時序事件動作檢測方法

有效

• 申請號: 201910541650.X
• 申請日: 2019-06-21
• 公開（公告）號: CN110427807B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 韓紅
• 申請（專利權）人: 諸暨思闊信息科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/40;G06V10/82;G06V10/25;G06V20/50;G06V10/764;G06N3/08;G06N3/04
• 代理公司: 廣東東莞市中晶知識產權代理事務所(普通合伙) 44661
• 代理人: 張海英

本發明公開了一種一種時序事件動作檢測方法，以整段視頻中每個視頻幀作為關鍵幀，選取前后或者附近相互關聯的時序片段，根據所選時序片段長度，搭建3D卷積神經網絡，保證3D卷積網絡輸出為2D動作特征圖，忽略時序關聯片段的微小位移變化，假設與關鍵幀位置大致相同，通過候選區域網絡在動作特征圖上找到關鍵幀的候選預測框，鎖定動作范圍大小后，將相應的動作特征選出，經過ROI Align歸一化為相同尺寸大小，送入Faster RCNN的分類和回歸網絡中，得到最后所需的動作檢測結果，對時序事件中動作特征建模，用3DCNN提高Faster RCNN中RPN提取候選區域所用動作特征質量，進而提高動作檢測回歸的準確率，之后用于FasterRCNN中動作識別，也能提高動作檢測分類的準確率。

技術領域

本發明涉及火災救援領域，尤其涉及時序事件動作檢測方法。

背景技術

時序事件中動作識別是時序事件中動作檢測和時序事件中動作提名的基礎，作為最早的重要研究方向，其結果好壞直接對后續任務產生重要影響。而且動作識別應用最為廣泛，如視頻監控、短視頻推薦和視頻自動檢索等都和它有著密不可分的聯系。

時序事件動作檢測是建立在動作識別的基礎上，進一步分析時序事件中人物動作位置信息的任務，大多數目標檢測模型都是以圖像特征為基礎，現有動作檢測方法中采取多個圖像幀分別提取特征再合并建模的比較多，這幾年在目標檢測技術的支持和硬件計算能力提升的條件下，計算機視覺中動作識別領域的研究也有了相應的新方向，就是動作檢測。但是由于是起步階段，故對于動作檢測的研究相對保守，大多方法還停留在多幀的輸入條件下，借助處理單張圖像的卷積神經網絡和目標檢測框架來融合多個視頻幀特征，而這種方法效果自然一般，并沒有很好的利用時序事件的特點。

發明內容

本發明提供時序事件動作檢測方法，包括：

將輸入視頻轉化為視頻幀后，找到該關鍵幀的時序關聯片段，選擇3D卷積神經網絡進行時序建模提取關鍵幀前后的動作特征；

獲取了關鍵幀的時續關聯片段特征后，利用RPN網絡中動作特征提出候選區域；

對候選區域進行動作識別；

生成UCF24數據集；

處理UCF24數據集，經過篩選簡化后，進行實驗并對結果分析。

可選地，上述所述的提取關鍵幀前后的動作特征具體的包括，將輸入視頻轉化為視頻幀后，以每一個視頻幀為關鍵幀，做研究對象，先找到該關鍵幀的時序關聯片段，以獲得上下文信息，確定時序關聯片段長度后，以關鍵幀為中心，找到前后對應一半長度的開始幀和結束幀，從而確定時序關聯片段，如果關鍵幀本身靠近開始幀或者結束幀，導致時序關聯片段長度不夠時，則需要重復堆疊開始幀或者結束幀，以保證統一的時序關聯片段長度，方便3D卷積神經網絡提取相應的動作特征，選擇3D卷積神經網絡進行時序建模，使用3D卷積神經網絡提取提取關鍵幀時序關聯片段的動作特征，對該時序片段預處理。

可選的，上述所述的獲取了關鍵幀的時續關聯片段特征后，利用動作特征提出候選區域，利用RPN網絡中動作特征提名候選區域的具體操作是：先生成錨框，再經過非極大值抑制算法，從這些候選提名中選取置信度相對較高的 2000個提名。

可選的，上述所述的對候選區域進行動作識別具體包括利用conv5層的2D 殘差塊對動作特征建模，通過多分類交叉熵得到動作類別，對于候選區域的位置信息利用樣本真實標注框和smooth1L函數回歸，精確定位，并再次通過非極大值抑制算法，在IOU為0.6的條件下，得到最后動作檢測結果，完成整個端到端的網絡搭建。

可選的，處理UCF24數據集，經過篩選簡化后，對基于P3D和Faster RCNN網絡的動作檢測算法進行實驗，對比基礎算法，分析優劣，得出結果。

本發明提供的一種時序事件動作檢測方法有益效果如下：