[發(fā)明專利]視頻動(dòng)作檢測方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110297281.1
• 申請日: 2021-03-19
• 公開（公告）號: CN113705303A
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 李巖
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);賈允

本申請公開了一種視頻動(dòng)作檢測方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及視頻處理技術(shù)領(lǐng)域，所述方法包括獲取目標(biāo)視頻的原始特征序列，所述原始特征序列包括目標(biāo)視頻中的每幀圖像對應(yīng)的原始特征；將所述原始特征序列輸入動(dòng)作邊界預(yù)測模型進(jìn)行動(dòng)作邊界預(yù)測，得到所述每幀圖像對應(yīng)的動(dòng)作邊界預(yù)測值；分別基于所述每幀圖像對應(yīng)的動(dòng)作邊界預(yù)測值對所述每幀圖像對應(yīng)的原始特征進(jìn)行邊界增強(qiáng)處理，得到所述目標(biāo)視頻的邊界增強(qiáng)特征序列；將所述邊界增強(qiáng)特征序列輸入視頻動(dòng)作檢測模型進(jìn)行視頻動(dòng)作檢測，得到所述目標(biāo)視頻的動(dòng)作檢測結(jié)果，所述動(dòng)作檢測結(jié)果包括所述目標(biāo)視頻中動(dòng)作的起止位置信息。利用本申請?zhí)峁┑募夹g(shù)方案能夠提升視頻動(dòng)作檢測的精度和可靠性。

技術(shù)領(lǐng)域

本申請涉及視頻處理技術(shù)領(lǐng)域，具體涉及視頻動(dòng)作檢測方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)信息的爆炸式增長，視頻逐漸成為互聯(lián)網(wǎng)信息中重要的一部分，視頻動(dòng)作檢測的目的主要是為了得到視頻中動(dòng)作的起始時(shí)間和結(jié)束時(shí)間，以及動(dòng)作所屬的類別等信息；視頻動(dòng)作檢測技術(shù)的發(fā)展為視頻內(nèi)容理解、內(nèi)容審核等業(yè)務(wù)帶來了很大的幫助。

由于視頻中動(dòng)作的變換往往較為緩慢不明顯，難以得到動(dòng)作精確的起始時(shí)間和結(jié)束時(shí)間，導(dǎo)致視頻動(dòng)作檢測精度不高，可靠性不強(qiáng)，因此，需要提供更加可靠的方案。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的問題，本申請?zhí)峁┝艘曨l動(dòng)作檢測方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。所述技術(shù)方案如下：

本申請一方面提供了一種視頻動(dòng)作檢測方法，所述方法包括：

獲取目標(biāo)視頻的原始特征序列，所述原始特征序列包括所述目標(biāo)視頻中的每幀圖像對應(yīng)的原始特征；

將所述原始特征序列輸入動(dòng)作邊界預(yù)測模型進(jìn)行動(dòng)作邊界預(yù)測，得到所述每幀圖像對應(yīng)的動(dòng)作邊界預(yù)測值；

分別基于所述每幀圖像對應(yīng)的動(dòng)作邊界預(yù)測值對所述每幀圖像對應(yīng)的原始特征進(jìn)行邊界增強(qiáng)處理，得到所述目標(biāo)視頻的邊界增強(qiáng)特征序列；

將所述邊界增強(qiáng)特征序列輸入視頻動(dòng)作檢測模型進(jìn)行視頻動(dòng)作檢測，得到所述目標(biāo)視頻的動(dòng)作檢測結(jié)果，所述動(dòng)作檢測結(jié)果包括所述目標(biāo)視頻中動(dòng)作的起止位置信息。

本申請另一方面提供了一種視頻動(dòng)作檢測裝置，所述裝置包括：

原始特征序列獲取模塊，用于獲取目標(biāo)視頻的原始特征序列，所述原始特征序列包括所述目標(biāo)視頻中的每幀圖像對應(yīng)的原始特征；

動(dòng)作邊界預(yù)測模塊，用于將所述原始特征序列輸入動(dòng)作邊界預(yù)測模型進(jìn)行動(dòng)作邊界預(yù)測，得到所述每幀圖像對應(yīng)的動(dòng)作邊界預(yù)測值；

邊界增強(qiáng)模塊，用于分別基于所述每幀圖像對應(yīng)的動(dòng)作邊界預(yù)測值對所述每幀圖像對應(yīng)的原始特征進(jìn)行邊界增強(qiáng)處理，得到所述目標(biāo)視頻的邊界增強(qiáng)特征序列；

視頻動(dòng)作檢測模塊，用于將所述邊界增強(qiáng)特征序列輸入視頻動(dòng)作檢測模型進(jìn)行視頻動(dòng)作檢測，得到所述目標(biāo)視頻的動(dòng)作檢測結(jié)果，所述動(dòng)作檢測結(jié)果包括所述目標(biāo)視頻中動(dòng)作的起止位置信息。

本申請另一方面提供了一種電子設(shè)備，所述電子設(shè)備包括處理器和存儲(chǔ)器，所述存儲(chǔ)器中存儲(chǔ)有至少一條指令或至少一段程序，所述至少一條指令或所述至少一段程序由上述處理器加載并執(zhí)行以實(shí)現(xiàn)如上述的視頻動(dòng)作檢測方法。

本申請另一方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一條指令或至少一段程序，所述至少一條指令或所述至少一段程序由處理器加載并執(zhí)行以實(shí)現(xiàn)如上述的視頻動(dòng)作檢測方法。

本申請?zhí)峁┑囊曨l動(dòng)作檢測方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，具有如下技術(shù)效果：