[發明專利]視頻動作檢測方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110297281.1
• 申請日: 2021-03-19
• 公開（公告）號: CN113705303A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 李巖
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;賈允

1.一種視頻動作檢測方法，其特征在于，所述方法包括：

獲取目標視頻的原始特征序列，所述原始特征序列包括所述目標視頻中的每幀圖像對應的原始特征；

將所述原始特征序列輸入動作邊界預測模型進行動作邊界預測，得到所述每幀圖像對應的動作邊界預測值；

分別基于所述每幀圖像對應的動作邊界預測值對所述每幀圖像對應的原始特征進行邊界增強處理，得到所述目標視頻的邊界增強特征序列；

將所述邊界增強特征序列輸入視頻動作檢測模型進行視頻動作檢測，得到所述目標視頻的動作檢測結果，所述動作檢測結果包括所述目標視頻中動作的起止位置信息。

2.根據權利要求1所述的方法，其特征在于，所述動作檢測結果還包括所述目標視頻中動作的類型信息；所述視頻動作檢測模型包括動作位置檢測子模型和動作類型檢測子模型；所述將所述邊界增強特征序列輸入視頻動作檢測模型進行視頻動作檢測，得到所述目標視頻的動作檢測結果包括：

將所述邊界增強特征序列分別作為所述動作位置檢測子模型和所述動作類型檢測子模型的輸入，在所述動作位置檢測子模型中進行動作起止位置檢測，并在所述動作類型檢測子模型中進行動作類型檢測，得到所述目標視頻中動作的起止位置信息和類型信息。

3.根據權利要求1或2所述的方法，其特征在于，所述每幀圖像對應的動作邊界預測值包括所述每幀圖像對應的動作起始預測值和動作結束預測值；所述分別基于所述每幀圖像對應的動作邊界預測值對所述每幀圖像對應的原始特征進行邊界增強處理，得到所述目標視頻的邊界增強特征序列包括：

分別基于所述每幀圖像對應的動作起始預測值和動作結束預測值對所述每幀圖像對應的原始特征進行邊界增強處理，得到所述每幀圖像對應的邊界增強特征；

基于所述目標視頻中的每幀圖像對應的邊界增強特征生成所述目標視頻的邊界增強特征序列。

4.根據權利要求3所述的方法，其特征在于，所述分別基于所述每幀圖像對應的動作起始預測值和動作結束預測值對所述每幀圖像對應的原始特征進行邊界增強處理，得到所述每幀圖像對應的邊界增強特征包括：

基于所述每幀圖像對應的動作起始預測值對所述每幀圖像對應的原始特征進行加權計算，得到第一加權特征；

基于所述每幀圖像對應的動作結束預測值對所述每幀圖像對應的原始特征進行加權計算，得到第二加權特征；

對所述第一加權特征和所述第二加權特征進行拼接處理，得到所述每幀圖像對應的邊界增強特征。

5.根據權利要求1或2所述的方法，其特征在于，所述方法還包括：

獲取多個標注有動作邊界標簽的樣本幀圖像對應的原始特征；

基于所述多個標注有動作邊界標簽的樣本幀圖像對應的原始特征，對預設神經網絡模型進行動作邊界預測的訓練，在動作邊界預測的訓練中調整所述預設神經網絡模型的模型參數直至所述預設神經網絡模型滿足預設收斂條件，得到所述動作邊界預測模型。

6.根據權利要求5所述的方法，其特征在于，所述獲取多個標注有動作邊界標簽的樣本幀圖像對應的原始特征包括：

獲取多個標注有動作起止位置信息的樣本幀圖像序列；

根據所述動作起止位置信息對所述樣本幀圖像序列中的每個樣本幀圖像進行動作邊界標注，得到所述每個樣本幀圖像的動作邊界標簽；

將每個標注有所述動作邊界標簽的樣本幀圖像輸入特征提取模型，基于所述特征提取模型對所述每個標注有所述動作邊界標簽的樣本幀圖像進行特征提取，得到所述多個標注有動作邊界標簽的樣本幀圖像對應的原始特征。