[發明專利]視頻中人體動作切分方法及裝置

有效

• 申請號: 202011415844.4
• 申請日: 2020-12-07
• 公開（公告）號: CN112464847B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 王小娟;何明樞;金磊
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 宋教花

1.一種視頻中人體動作切分方法，其特征在于，該方法包括以下步驟：

獲取待切分視頻，使用卷積神經網絡提取所述待切分視頻中每幀圖像的人體骨骼關鍵點信息，并將每幀圖像的所述人體骨骼關鍵點信息按照原視頻中各幀的前后順序組成輸入關鍵點序列；

通過預設時間長度的滑窗在所述輸入關鍵點序列中提取多個候選序列；

將所述候選序列中每一幀與標準序列中每一幀對多種動作距離加權求和作為參數，基于動態時間規劃算法計算各候選序列與動作切分標準庫中標準序列的距離，其中，所述動作距離包括：關節角度距離：兩幀之間相同關節角度的余弦距離；和/或關鍵點空間距離：兩幀之間相同關鍵點的歐氏距離；和/或骨骼向量距離：兩幀之間相同骨骼向量的余弦距離；和/或關鍵點時序距離：兩幀之間關鍵點時序向量的余弦距離，所述關鍵點時序向量為下一幀該關鍵點坐標向量減去本幀該關鍵點坐標向量；和/或骨骼時序距離：兩幀之間相同骨骼時序向量的余弦距離，所述骨骼時序向量為下一幀該骨骼向量減去本幀該骨骼向量；

在時域上對各候選序列與標準序列的距離進行非極大值抑制，并獲取在時域上不交疊且與所述標準序列距離小于設定閾值的候選序列作為切片，按照所述切片對應的時段對待切分視頻進行切分。

2.根據權利要求1所述的視頻中人體動作切分方法，其特征在于，所述輸入關鍵點序列和所述標準序列是基于人體姿態估計算法對標準視頻處理得到的人體骨骼關鍵點序列，同時去除了對動作區分貢獻較小的關鍵點，并添加了對動作區分貢獻較大的關鍵點。

3.根據權利要求2所述的視頻中人體動作切分方法，其特征在于，所述人體姿態估計算法為Alphapose算法。

4.根據權利要求2所述的視頻中人體動作切分方法，其特征在于，所述輸入關鍵點序列和所述標準序列中的采用的關鍵點包括：

頭部、胸部、左肩、右肩膀、左肘、右肘、左手、右手、左胯、右胯、左膝、右膝、左腳以及右腳。

5.根據權利要求1所述的視頻中人體動作切分方法，其特征在于，所述方法還包括：

獲取所述待切分視頻中各幀對應的人體矩形框，并根據所述人體矩形框的長寬對所述人體骨骼關鍵點信息進行歸一化處理。

6.根據權利要求1所述的視頻中人體動作切分方法，其特征在于，所述關節角度包括：左肘-左肩-左胯的關節角度、右肘-右肩-右胯的關節角度、左肩-左肘-左手的關節角度、右肩-右肘-右手的關節角度、右胯-左胯-左膝的關節角度、左胯-右胯-右膝的關節角度、左胯-左膝-左腳的關節角度以及右胯-右膝-右腳的關節角度。

7.根據權利要求1所述的視頻中人體動作切分方法，其特征在于，所述骨骼向量包括：胸部至頭部向量、胸部至左肩向量、胸部至右肩向量、左肩至左肘向量、右肩至右肘向量、左肘至左手向量、右肘至右手向量、左肩至左胯向量、右肩至右胯向量、左胯至右胯向量、左胯至左膝向量、右胯至右膝向量、左膝至左腳向量以及右膝至右腳向量。

8.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至7任一項所述方法的步驟。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1至7任一項所述方法的步驟。