[發明專利]視頻時序動作的檢測方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010026653.2
• 申請日: 2020-01-10
• 公開（公告）號: CN111222476B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 林天威;李鑫;何棟梁;李甫;孫昊;文石磊;丁二銳
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/764;G06V10/774;G06V10/82
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

本申請公開了視頻時序動作的檢測方法、裝置、電子設備及存儲介質，涉及視頻處理技術領域。具體實現方案為：獲取待檢測視頻的初始時序特征序列；采用預先訓練的視頻時序動作檢測模塊，基于所述初始時序特征序列獲取配置的多個時序錨定框的隱式特征和顯式特征；采用所述視頻時序動作檢測模塊，根據所述多個時序錨定框的顯式特征和隱式特征，從所述多個時序錨定框中獲取包含指定動作的視頻片段的起始位置、結束位置、所述指定動作的類別以及所述指定動作屬于所述類別的概率。本申請的實現方案，實現過程較為簡單，能夠有效地提高視頻時序動作的檢測效率，而且還能有效地提高時序動作檢測的準確性。

技術領域

本申請涉及計算機技術領域，尤其涉及視頻處理技術領域，具體涉及一種視頻時序動作的檢測方法、裝置、電子設備及存儲介質。

背景技術

為了生產高質量的短視頻內容，視頻制作者通常都需要從原始的長視頻素材中手動地剪輯出感興趣的視頻片段，去除大量無用的素材，這一過程需要耗費視頻作者很多的精力。例如，為了提高視頻剪輯的效率，通常需要使用技術手段去幫助視頻作者或是視頻平臺自動地從長視頻中剪輯出指定動作類別的短視頻片段。其剪輯過程中相關的算法任務為視頻時序動作檢測任務，其目的是在未裁剪的長視頻中檢測時序動作片段的開始時間、結束時間、置信度分數以及動作類別。該項技術是精彩視頻智能剪輯的關鍵技術。

現有的視頻時序動作檢測方法類似于時序維度上的目標檢測任務，通常可以采用時序提名生成和時序提名分類兩個步驟來完成，具體地，首先采用滑窗或時序提名生成算法生成時序提名，再通過分類網絡對時序提名的動作類別進行分類。

但是，現有的上述視頻時序動作檢測方案的實現過程較為繁瑣，造成時序動作檢測效率較低。

發明內容

為了解決上述技術問題，本申請提供一種視頻時序動作的檢測方法、裝置、電子設備及存儲介質，用于提高視頻中時序動作檢測的準確性。

一方面，本申請提供一種視頻時序動作的檢測方法包括：

獲取待檢測視頻的初始時序特征序列；

采用預先訓練的視頻時序動作檢測模塊，基于所述初始時序特征序列獲取配置的多個時序錨定框的隱式特征和顯式特征；

采用所述視頻時序動作檢測模塊，根據所述多個時序錨定框的顯式特征和隱式特征，從所述多個時序錨定框中獲取包含指定動作的視頻片段的起始位置、結束位置、所述指定動作的類別以及所述指定動作屬于所述類別的概率。

進一步可選地，如上所述的方法中，獲取待檢測視頻的初始時序特征序列，包括：

從所述待檢測的視頻中按照從前至后的抽取順序、采用預設的采樣周期依次抽取多張圖像，構成圖像序列；

提取所述圖像序列中的各張所述圖像的特征，并按照在所述圖像序列中的先后順序拼接為所述初始時序特征序列。

進一步可選地，如上所述的方法中，采用預先訓練的視頻時序動作檢測模塊，基于所述初始時序特征序列獲取配置的多個時序錨定框的隱式特征，包括：

由所述視頻時序動作檢測模塊，按照預設的多種減小時序長度的方式，減小所述初始時序特征序列的時序長度，得到多種調整后的參考時序特征序列；

對于各所述參考時序特征序列，為各時序位置配置預設數量的、不同尺度的多個時序錨定框；

將各所述時序錨定框的隱式特征配置為對應的所述參考時序特征序列中對應的所述時序位置的特征。

進一步可選地，如上所述的方法中，采用預先訓練的視頻時序動作檢測模塊，基于所述初始時序特征序列獲取配置的多個時序錨定框的顯式特征，包括：