[發明專利]基于骨架和視頻特征融合的行為分類方法

有效

• 申請號: 202011419698.2
• 申請日: 2020-12-06
• 公開（公告）號: CN112560618B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 路紅;汪子健;楊博弘;冉武;沈夢琦;任浩然
• 申請（專利權）人: 復旦大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于計算機圖像處理技術領域，具體為一種基于骨架和視頻特征融合的行為分類方法。本發明方法包括：對已有的人類行為視頻數據進行預處理，通過人體檢測模型和OpenPose分別獲取對應的人體檢測框和人體骨架數據，作為深度學習模型的訓練數據；其中視頻數據和人體檢測框數據作為前景與背景特征融合網絡的輸入，骨架特征作為個體與群體特征融合網絡的輸入；兩個網絡的輸出結果進行平均為最終分類結果；接著對訓練集進行監督式學習，得到泛化的深度學習模型；然后，對識別的視頻進行和模型訓練時一樣的預處理，然后作為輸入，放進預先訓練好深度學習模型里，就能得到行為分類的結果。

技術領域

本發明屬于計算機圖像處理技術領域，具體涉及一種利用骨架特征和視頻特征融合的行為分類方法。

背景技術

在計算機視覺任務中，行為識別是十分具有挑戰性的領域。行為識別主要有兩類研究方法，一類是基于RGB圖像的行為識別，另外一類是基于骨架的行為識別。基于RGB的方法，其優點是擁有所有視覺層面上的信息，特征完備，但其缺點是場景過于豐富，而人體姿態在不同的相機角度下變化太大，模型無法完全理解人體姿態語義信息，可能學習到更多的背景特征。基于骨架的方法，其優點人體姿態結構清晰，天然的圖模型，對相機視角變化和背景不敏感，特征聚焦在人體。但其缺點也很明顯，沒有其他物體和背景相關特征，導致當人體與物體進行交互時，往往很難識別其行為類別。因此可以通過將視頻特征與骨架特征相融合，以解決單一特征不魯棒的缺點。

發明內容

本發明的目的在于提供一種魯棒性好的將視頻與骨架特征融合的行為分類方法。

本發明提供的將視頻與骨架特征融合的行為分類方法，是基于深度學習的；基本步驟為：對已有的人類行為視頻數據進行預處理，通過人體檢測模型和OpenPose^[1]分別獲取對應的人體檢測框和人體骨架數據，作為深度學習模型的訓練數據；其中視頻數據和人體檢測框數據作為前景與背景特征融合網絡的輸入，骨架特征作為個體與群體特征融合網絡的輸入；兩個網絡的輸出結果進行平均為最終分類結果；接著對訓練集進行監督式學習，得到泛化的深度學習模型；然后，對識別的視頻進行和模型訓練時一樣的預處理，然后作為輸入，放進預先訓練好深度學習模型里，就能得到行為分類的結果。

本發明提出的基于骨架和視頻特征融合的行為分類方法，具體步驟如下：

(1)獲取深度學習的訓練數據；

(2)訓練深度學習模型；

(3)用訓練好的模型對視頻進行行為分類。

步驟(1)中所述獲取深度學習訓練數據的具體流程為：

(11)首先處理視頻數據；所有的視頻數據都按30FPS處理，所有視頻縮放至256×256，并同時從視頻中隨機抽取一段視頻幀，長度為T，采樣率為2(即每隔一幀采樣一次)；

(12)用ResNet-101-FPN為骨干的Faster-RCNN^[2]模型對流程(11)中處理好的視頻數據進行人體檢測，得到人體檢測框；該ResNet-101-FPN為骨干的Faster-RCNN模型是在ImageNet和COCO人體關鍵點數據集上預訓練得到的；

(13)對流程(12)中獲取的人體檢測框數據，在每個人體框內使用OpenPose的2D姿態估計來獲取骨架數據，其數據結構為18個關節的2D空間坐標。

步驟(2)中所述訓練深度學習模型，具體包括：

對于視頻數據使用前景與背景特征融合網絡進行訓練；所述前景與背景特征融合網絡是由3DCNN網絡提取的背景特征與人體檢測框內的前景特征進行融合的網絡，其中3DCNN網絡使用SlowFast^[3]網絡；