[發明專利]一種動作片段檢測方法、裝置、設備及介質

有效

• 申請號: 202010542499.4
• 申請日: 2020-06-15
• 公開（公告）號: CN111723243B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 余程鵬;王博;左凱
• 申請（專利權）人: 南京領行科技股份有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06V20/40
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 楊曉萍

本申請公開了一種動作片段檢測方法、裝置、設備及介質，應用于視頻處理技術領域，用以解決現有技術的動作片段檢測方法存在準確度低、覆蓋率差的問題。具體為：利用時序評估模型，獲得待檢測視頻中各個視頻幀序列的時序信息，并利用各個視頻幀序列的時序信息，對各個視頻幀序列進行重組，從而實現對待檢測視頻中視頻片段的全局檢索，進而利用置信度評估模型，獲得各個視頻片段的置信度后，從各個視頻片段中，選取對應的置信度符合置信度條件的視頻片段作為目標動作片段，從而使得從各個視頻片段中選取出的目標動作片段，不僅可以覆蓋待檢測視頻中的所有動作片段，而且，目標動作片段的起始時間和結束時間的誤差較小、準確度較高。

技術領域

本申請涉及視頻處理技術領域，尤其涉及一種動作片段檢測方法、裝置、設備及介質。

背景技術

視頻內容分析是當前人工智能(Artificial Intelligence，AI)領域比較熱門的研究課題，尤其是隨著數碼相機、攝像頭等監控設備的逐漸增多，以及視頻客戶端、直播客戶端等應用的日漸普及，產生了大量的視頻，急需一種智能的視頻內容分析方法，對產生的視頻進行分析。

目前，視頻分析的一個主要分支是動作識別，旨在從視頻中提取出包含動作實例的視頻片段，但是，實際場景下，視頻中通常夾雜很多與動作實例無關的內容，如何從視頻中精準且全面地提取出動作片段是當前視頻處理技術領域需要考慮的問題。

發明內容

本申請實施例提供了一種動作片段檢測方法、裝置、設備及介質，用以解決現有技術在從視頻中提取動作片段時存在動作片段的準確度較低、覆蓋不全面的問題。

本申請實施例提供的技術方案如下：

一方面，本申請實施例提供了一種動作片段檢測方法，包括：

對待檢測視頻進行特征提取，得到第一特征序列，其中，第一特征序列至少包含待檢測視頻對應的各個視頻幀序列的特征數據；

基于第一特征序列，并利用時序評估模型，獲得各個視頻幀序列的時序信息，其中，時序信息至少包含視頻幀序列屬于動作片段開始的開始概率以及屬于動作片段結束的結束概率；

基于各個視頻幀序列的時序信息，對各個視頻幀序列進行重組，得到視頻片段集合；

對視頻片段集合包含的各個視頻片段分別進行特征采樣，得到第二特征序列，其中，第二特征序列至少包含各個視頻片段的特征數據；

基于第二特征序列，并利用置信度評估模型，獲得視頻片段集合包含的各個視頻片段的置信度，其中，置信度表征視頻片段中包含動作片段的概率；

從視頻片段集合包含的各個視頻片段中，選取對應的置信度符合置信度條件的視頻片段作為目標動作片段。

在一種可能的實施方式中，對待檢測視頻進行特征提取，得到第一特征序列，包括：

利用雙流網絡(Two Stream Networks，TSN)，按照設定視頻幀間隔，對待檢測視頻進行紅綠藍(Red Green Blue，RGB)特征提取和光流特征提取，得到各個視頻幀序列的RGB特征數據和光流特征數據；

分別對各個視頻幀序列的RGB特征數據和光流特征數據進行拼接處理，得到各個視頻幀序列的特征數據，并基于各個視頻幀序列的特征數據，得到第一特征序列。

在一種可能的實施方式中，時序信息還包含視頻幀序列屬于動作片段中間的中間概率。

在一種可能的實施方式中，基于各個視頻幀序列的時序信息，對各個視頻幀序列進行重組，得到視頻片段集合，包括：

從各個視頻幀序列的時序信息中，選取滿足設定條件的開始概率組成開始概率集合，以及選取滿足設定條件的結束概率組成結束概率集合；