[發明專利]視頻處理方法與裝置、計算機可讀存儲介質、計算機設備

在審

• 申請號: 202110286329.9
• 申請日: 2021-03-17
• 公開（公告）號: CN112906630A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 于志鵬;郭宇;吳天行;王靖博;梁鼎
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

本公開實施例提供一種視頻處理方法與裝置、計算機可讀存儲介質、計算機設備，用于獲取第一位置序列，所述第一位置序列中包括多個位置信息，每個位置信息用于表征第一視頻的一幀視頻幀中目標對象執行動作時所處的位置；基于所述第一位置序列對所述第一視頻進行特征提取，得到第一特征序列；基于所述第一特征序列，執行與所述第一視頻相關的視頻處理任務。

技術領域

本公開涉及計算機視覺技術領域，尤其涉及視頻處理方法與裝置、計算機可讀存儲介質、計算機設備。

背景技術

隨著5G時代的到來，視頻內容迎來爆發式增長，短視頻和vlog等人體動作視頻都非常流行。為了便于執行視頻推送和分類等視頻處理任務，常常需要對視頻中的動作進行識別，并基于識別出的動作類別為視頻添加標簽。然而，由于動作具有多樣性，并且一些視頻中的動作本身可能并不具有特定含義。因此，基于標簽來執行視頻處理任務所得到的處理結果的準確度較低。

發明內容

本公開提供一種視頻處理方法與裝置、計算機可讀存儲介質、計算機設備。

根據本公開實施例的第一方面，提供一種視頻處理方法，所述方法包括：獲取第一位置序列，所述第一位置序列中包括多個位置信息，每個位置信息用于表征第一視頻的一幀視頻幀中目標對象執行動作時所處的位置；基于所述第一位置序列對所述第一視頻進行特征提取，得到第一特征序列；基于所述第一特征序列，執行與所述第一視頻相關的視頻處理任務。

在一些實施例中，所述基于所述第一位置序列對所述第一視頻進行特征提取，得到第一特征序列，包括：基于所述第一位置序列對所述第一視頻進行關鍵點檢測，得到第一關鍵點序列，所述第一關鍵點序列中包括所述第一視頻的至少一幀視頻幀中所述目標對象的關鍵點位置；基于所述第一關鍵點序列對所述第一視頻進行特征提取，得到所述第一特征序列。

在一些實施例中，所述基于所述第一關鍵點序列對所述第一視頻進行特征提取，得到所述第一特征序列，包括：對所述第一關鍵點序列進行歸一化處理；將歸一化處理后的所述第一關鍵點序列確定為所述第一特征序列。

在一些實施例中，所述對所述第一關鍵點序列進行歸一化處理，包括：針對所述至少一幀視頻幀中的每幀視頻幀執行以下操作：對所述視頻幀進行平移，平移后的所述視頻幀中各個關鍵點的中心點位于坐標原點；基于平移后的所述視頻幀中各個關鍵點與所述中心點的最大距離，對所述視頻幀中各個關鍵點進行歸一化處理。

在一些實施例中，所述方法還包括：在對所述第一關鍵點序列進行歸一化處理之前，從所述第一關鍵點序列中過濾掉無效的關鍵點位置。

在一些實施例中，所述第一關鍵點序列中還包括各個關鍵點的置信度；所述基于所述第一關鍵點序列對所述第一視頻進行特征提取，得到第一特征序列，包括：將所述第一關鍵點序列輸入預先建立的圖卷積網絡；獲取所述圖卷積網絡基于各個關鍵點的位置和置信度輸出的所述第一特征序列。

在一些實施例中，所述基于所述第一位置序列對所述第一視頻進行特征提取，得到第一特征序列，包括：基于所述第一位置序列，從所述第一視頻的至少一幀視頻幀中的每幀視頻幀中裁剪出目標區域，所述目標區域中包括所述目標對象，且所述目標區域的尺寸大于所述目標對象的尺寸；將所述每幀視頻幀對應的目標區域輸入預先訓練的卷積神經網絡，并獲取所述卷積神經網絡輸出的所述第一特征序列。

在一些實施例中，所述基于所述第一特征序列，執行與所述第一視頻相關的視頻處理任務，包括：獲取視頻庫中的第二視頻的第二特征序列；基于所述第一特征序列與所述第二特征序列之間的相似度，執行與所述第一視頻相關的視頻處理任務。

在一些實施例中，所述第二視頻包括多個，所述視頻處理任務包括視頻分類任務；所述基于所述第一特征序列與所述第二特征序列之間的相似度，執行與所述第一視頻相關的視頻處理任務，包括：分別獲取所述第一特征序列與多個所述第二視頻中各個第二視頻的第二特征序列之間的相似度；將與所述第一特征序列相似度最大的第二特征序列對應的第二視頻的類別確定為所述第一視頻的類別。