[發明專利]視頻時序動作的檢測方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010026653.2
• 申請日: 2020-01-10
• 公開（公告）號: CN111222476B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 林天威;李鑫;何棟梁;李甫;孫昊;文石磊;丁二銳
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/764;G06V10/774;G06V10/82
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

1.一種視頻時序動作的檢測方法，其特征在于，包括：

獲取待檢測視頻的初始時序特征序列；

采用預先訓練的視頻時序動作檢測模塊，基于所述初始時序特征序列獲取配置的多個時序錨定框的隱式特征和顯式特征；

采用所述視頻時序動作檢測模塊，根據所述多個時序錨定框的顯式特征和隱式特征，從所述多個時序錨定框中獲取包含指定動作的視頻片段的起始位置、結束位置、所述指定動作的類別以及所述指定動作屬于所述類別的概率；

采用預先訓練的視頻時序動作檢測模塊，基于所述初始時序特征序列獲取配置的多個時序錨定框的隱式特征，包括：

由所述視頻時序動作檢測模塊，按照預設的多種減小時序長度的方式，減小所述初始時序特征序列的時序長度，得到多種調整后的參考時序特征序列；

對于各所述參考時序特征序列，為各時序位置配置預設數量的、不同尺度的時序錨定框，得到所述多個時序錨定框；且同一所述時序位置的所述預設數量的所述時序錨定框具有相同的中心；各所述時序錨定框對應一個時長范圍內的特征信息；

將所述多個時序錨定框中各所述時序錨定框的隱式特征配置為對應的所述參考時序特征序列中對應的所述時序位置的特征。

2.根據權利要求1所述的方法，其特征在于，獲取待檢測視頻的初始時序特征序列，包括：

從所述待檢測的視頻中按照從前至后的抽取順序、采用預設的采樣周期依次抽取多張圖像，構成圖像序列；

提取所述圖像序列中的各張所述圖像的特征，并按照在所述圖像序列中的先后順序拼接為所述初始時序特征序列。

3.根據權利要求1所述的方法，其特征在于，采用預先訓練的視頻時序動作檢測模塊，基于所述初始時序特征序列獲取配置的多個時序錨定框的顯式特征，包括：

以多種所述參考時序特征序列中長度最長的參考時序特征序列為采樣樣本，按照為各所述時序錨定框構造的采樣特征，采用所述采樣特征乘以所述采樣樣本的方式，獲取各所述時序錨定框的顯式特征。

4.根據權利要求1所述的方法，其特征在于，采用所述視頻時序動作檢測模塊，根據所述多個時序錨定框的顯式特征和隱式特征，從所述多個時序錨定框中獲取包含指定動作的視頻片段的起始位置、結束位置、所述指定動作的類別以及所述指定動作屬于所述類別的概率，包括：

采用所述視頻時序動作檢測模塊，將各所述時序錨定框的顯式特征和隱式特征拼接，得到各所述時序錨定框的綜合特征；

基于各所述時序錨定框的綜合特征，對各所述時序錨定框進行檢測，篩取包含有所述指定動作的目標時序錨定框、所述指定動作的類別以及所述指定動作屬于所述類別的概率；

在所述初始時序特征序列中對包含所述指定動作的所述目標時序錨定框的邊界進行檢測，獲取所述目標時序錨定框對應的視頻片段的起始位置和結束位置。

5.根據權利要求4所述的方法，其特征在于，在所述初始時序特征序列中對包含所述指定動作的所述目標時序錨定框的邊界進行檢測之后，獲取所述目標時序錨定框對應的視頻片段的起始位置和結束位置之前，還包括：

結合所述初始時序特征序列中、檢測到的所述目標時序錨定框的邊界的前后多個時序特征，對所述目標時序錨定框對應的視頻片段的起始位置和結束位置進行邏輯回歸分析。