[發明專利]一種時序事件動作檢測方法

有效

• 申請號: 201910541650.X
• 申請日: 2019-06-21
• 公開（公告）號: CN110427807B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 韓紅
• 申請（專利權）人: 諸暨思闊信息科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/40;G06V10/82;G06V10/25;G06V20/50;G06V10/764;G06N3/08;G06N3/04
• 代理公司: 廣東東莞市中晶知識產權代理事務所(普通合伙) 44661
• 代理人: 張海英

1.一種時序事件動作檢測方法，其特征在于，所述方法包括：

將輸入視頻轉化為視頻幀后，找到關鍵幀的時序關聯片段，選擇3D卷積神經網絡進行時序建模提取關鍵幀前后的動作特征；

所述的提取關鍵幀前后的動作特征具體的包括：

將輸入視頻轉化為視頻幀后，以每一個視頻幀為關鍵幀，做研究對象，先找到該關鍵幀的時序關聯片段，以獲得上下文信息，確定時序關聯片段長度后，以關鍵幀為中心，找到前后對應一半長度的開始幀和結束幀，從而確定時序關聯片段，如果關鍵幀本身靠近開始幀或者結束幀，導致時序關聯片段長度不夠時，則需要重復堆疊開始幀或者結束幀，以保證統一的時序關聯片段長度，方便3D卷積神經網絡提取相應的動作特征，選擇3D卷積神經網絡進行時序建模，使用3D卷積神經網絡提取關鍵幀時序關聯片段的動作特征，對該時序片段預處理；

獲取了關鍵幀的時續關聯片段特征后，利用RPN網絡中動作特征提出候選區域；

所述的獲取了關鍵幀的時續關聯片段特征后，利用動作特征提出候選區域，利用RPN網絡中動作特征提名候選區域的具體操作是：先生成錨框，再經過非極大值抑制算法，從這些候選提名中選取置信度相對較高的2000個提名；

對候選區域進行動作識別；

所述的對候選區域進行動作識別具體包括利用conv5層的2D殘差塊對動作特征建模，通過多分類交叉熵得到動作類別，對于候選區域的位置信息利用樣本真實標注框和smooth1L函數回歸，精確定位，并再次通過非極大值抑制算法，在IOU為0.6的條件下，得到最后動作檢測結果，完成整個端到端的網絡搭建；

生成UCF24數據集；

處理UCF24數據集，經過篩選簡化后，進行實驗并對結果分析。

2.根據權利要求1所述的一種時序事件動作檢測方法，其特征在于：處理UCF24數據集，經過篩選簡化后，對基于P3D和Faster RCNN網絡的動作檢測算法進行實驗，對比基礎算法，分析優劣，得出結果。