[發明專利]一種視頻行為時間軸檢測方法

有效

• 申請號: 201810597905.X
• 申請日: 2018-06-12
• 公開（公告）號: CN108830212B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 李革;張濤;李楠楠;林凱;孔偉杰;李宏
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/40;H04N7/18;G06N3/04
• 代理公司: 北京京萬通知識產權代理有限公司 11440
• 代理人: 萬學堂;魏振華

本發明公布了一種視頻行為時間軸檢測方法，基于深度學習和時間結構建模，并結合粗粒度檢測與細粒度檢測做視頻行為時間軸檢測，在已有模型SSN的基礎上，使用雙流模型來提取視頻的時空特征；對行為的時間結構進行建模，將單個行為分為三個階段；接著提出一種新的能夠有效提取視頻行為的時間邊界信息的特征金字塔；最后結合粗粒度檢測與細粒度檢測，使得檢測結果更加精確；本發明的檢測精度高，超過了當前已有的所有公開方法，具有廣泛的適用性，可適用于智能監控系統或者人機監護系統中對人類感興趣視頻片段的檢測，便于后續的分析與處理，具有重要的應用價值。

技術領域

本發明涉及視頻分析技術領域，尤其涉及一種視頻行為時間軸檢測方法，該方法基于深度學習并結合視頻上下文信息進行視頻內人類行為的時間軸檢測。

背景技術

包含人類行為的視頻可以分為兩類：一類是經過人工裁剪的、僅包含人類行為而不包含任何無關背景視頻的視頻；一類是拍攝后未經裁剪的視頻，該類視頻中不僅僅包括人類行為而且包含無關的背景片段，比如片頭，觀眾等。視頻行為時間軸檢測指在一段未經過人工裁剪的視頻中，定位出人類行為發生的起始時間與結束時間，并識別人類行為的類別。目前已有的視頻行為時間軸檢測方法主要遵循兩步策略：首先，提取大量的很可能包含人類動作視頻片段的視頻行為時間軸候選框，然后對所提取的候選框進行位置和長度上的細微調整，并對定位到的行為進行分類。一般地，視頻行為時間軸候選框提取雖然能大致定位到視頻內的人類行為，但定位精度較低，與動作片段的重疊率較低，因此對視頻行為時間軸候選框的調優和精確分類非常重要。在實際的應用場景中，精確地定位到人類行為發生的起始時間和結束時間非常重要，。本發明在已有視頻行為時間軸候選框提取方法的基礎上，主要針對視頻行為時間軸檢測這一任務，基于深度學習，進行精確的視頻行為時間軸定位。

目前根據視頻行為時間軸檢測方式的不同，可以將現有的視頻行為時間軸檢測模型分為兩類：

第一類是一階段方法。所謂的一階段方法，是指直接從未裁剪視頻中尋找和定位人類行為的方法。這一類方法的效率相對較高。但是由于視頻內包含的信息量巨大，這種直接一步到位的定位方法很難取得較好的定位結果。

第二類方法是兩階段方法，即先提取視頻行為時間軸候選框，然后對候視頻行為時間軸選框進行調整和分類。目前已有的大部分視頻行為時間軸檢測方法都是兩階段方法。這一類方法，通過一些快速的視頻行為時間軸候選框提取算法，從視頻中提取大量的很可能包含人類行為片段的視頻段。雖然視頻行為時間軸候選框可以作為粗糙的定位結果，但是其定位精度很差，并且其中包含著大量的無用的背景視頻段。因此，一些算法專注于在第二階段中對視頻行為時間軸候選框進行位置微調，從而糾正視頻行為時間軸候選框的位置，提高定位的精度。同時，在第二階段，對視頻行為時間軸候選框進行再次篩選分類，去除無用的背景片段，從而達到較好的視頻行為時間軸檢測結果。

現有的較好的視頻行為時間軸檢測方法有R-C3D，SSN(Zhao,Yue,et al.Temporal action detection with structured segment networks.The IEEEInternational Conference on Computer Vision(ICCV).Vol.8.2017.)等。其中SSN提出應該對視頻內行為的時間結構進行建模，從而達到精確定位的目標。SSN將一個時間軸候選框分為起始、中間、結束三個階段，在每個階段上建立結構化特征金字塔，提取時間結構信息。在提取出的金字塔特征之上，SSN建立兩個分類器，分別進行行為分類和候選框完整性判定。SSN取得了較優的視頻行為時間軸檢測結果。但是，SSN模型本身具有兩個缺點：一是SSN試圖精確地定位行為的時間邊界，但是忽視了時間邊界部分的信息；二是SSN對一整個候選框進行完整性判斷，將包含不完整行為的候選框直接丟棄，沒有充分地利用候選框，效率有待提高。

發明內容