[發明專利]一種動作片段檢測方法、裝置、設備及介質

有效

• 申請號: 202010542499.4
• 申請日: 2020-06-15
• 公開（公告）號: CN111723243B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 余程鵬;王博;左凱
• 申請（專利權）人: 南京領行科技股份有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06V20/40
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 楊曉萍

1.一種動作片段檢測方法，其特征在于，包括：

對待檢測視頻進行特征提取，得到第一特征序列，其中，所述第一特征序列至少包含所述待檢測視頻對應的各個視頻幀序列的特征數據；

基于所述第一特征序列，并利用時序評估模型，獲得所述各個視頻幀序列的時序信息，其中，時序信息至少包含視頻幀序列屬于動作片段開始的開始概率以及屬于動作片段結束的結束概率；

基于所述各個視頻幀序列的時序信息，對所述各個視頻幀序列進行重組，得到視頻片段集合；

對所述視頻片段集合包含的各個視頻片段分別進行特征采樣，得到第二特征序列，其中，所述第二特征序列至少包含所述各個視頻片段的特征數據；

基于所述第二特征序列，并利用置信度評估模型，獲得所述視頻片段集合包含的各個視頻片段的置信度，其中，置信度表征視頻片段中包含動作片段的概率；

從所述視頻片段集合包含的各個視頻片段中，選取對應的置信度符合置信度條件的視頻片段作為目標動作片段。

2.如權利要求1所述的動作片段檢測方法，其特征在于，對待檢測視頻進行特征提取，得到第一特征序列，包括：

利用雙流網絡TSN，按照設定視頻幀間隔，對所述待檢測視頻進行紅綠藍RGB特征提取和光流特征提取，得到各個視頻幀序列的RGB特征數據和光流特征數據；

分別對所述各個視頻幀序列的RGB特征數據和光流特征數據進行拼接處理，得到所述各個視頻幀序列的特征數據，并基于所述各個視頻幀序列的特征數據，得到所述第一特征序列。

3.如權利要求1所述的動作片段檢測方法，其特征在于，所述時序信息還包含所述視頻幀序列屬于動作片段中間的中間概率。

4.如權利要求1-3任一項所述的動作片段檢測方法，其特征在于，基于所述各個視頻幀序列的時序信息，對所述各個視頻幀序列進行重組，得到視頻片段集合，包括：

從所述各個視頻幀序列的時序信息中，選取滿足設定條件的開始概率組成開始概率集合，以及選取滿足所述設定條件的結束概率組成結束概率集合；

將所述開始概率集合包含的每一個開始概率對應的視頻幀序列，分別與所述結束概率集合包含的每一個結束概率對應的視頻幀序列進行組合，得到各個視頻片段；

基于所述各個視頻片段，得到所述視頻片段集合。

5.如權利要求4所述的動作片段檢測方法，其特征在于，從所述各個視頻幀序列的時序信息中，選取滿足設定條件的開始概率組成開始概率集合，以及選取滿足所述設定條件的結束概率組成結束概率集合，包括：

從所述各個視頻幀序列的時序信息中，選取不小于設定閾值的開始概率和屬于峰值的開始概率組成所述開始概率集合；以及，

從所述各個視頻幀序列的時序信息中，選取不小于設定閾值的結束概率和屬于峰值的結束概率組成所述結束概率集合。

6.如權利要求4所述的動作片段檢測方法，其特征在于，基于所述各個視頻片段，得到所述視頻片段集合，包括：

從所述各個視頻片段中，選取開始概率對應的視頻幀序列在所述待檢測視頻中的時間位置，小于結束概率對應的視頻幀序列在所述待檢測視頻中的時間位置的視頻片段組成所述視頻片段集合。

7.如權利要求1所述的動作片段檢測方法，其特征在于，對所述視頻片段集合包含的各個視頻片段分別進行特征采樣，得到第二特征序列，包括：

采用線性插值方法，從所述視頻片段集合包含的各個視頻片段中分別采取設定數目的特征值，得到所述視頻片段集合包含的各個視頻片段的特征數據；

基于所述視頻片段集合包含的各個視頻片段的特征數據，得到所述第二特征序列。