[發(fā)明專利]一種視頻中人體姿態(tài)估計與跟蹤方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110295774.1
• 申請日: 2021-03-19
• 公開（公告）號: CN113255429B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 王海濱;紀文峰
• 申請（專利權(quán)）人: 青島根尖智能科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06N3/0464;G06N3/08;G06T7/246;G06T7/269
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

1.一種視頻中人體姿態(tài)估計與跟蹤方法，其特征在于，包括：

采集人體姿態(tài)估計數(shù)據(jù)集中的視頻數(shù)據(jù)；

通過人體姿態(tài)估計網(wǎng)絡(luò)模型對視頻數(shù)據(jù)中每幀圖像進行人體姿態(tài)估計獲得估計數(shù)據(jù)，并通過光流估計算法獲取相鄰幀間光流估計結(jié)果；

將估計數(shù)據(jù)以及相鄰幀間光流估計結(jié)果輸入到改進的CNN網(wǎng)絡(luò)模型中進行人體姿態(tài)跟蹤訓(xùn)練，并基于損失函數(shù)約束進行重疊幀修正輸出準確的人體估計姿態(tài)與跟蹤數(shù)據(jù)；

其中，基于損失函數(shù)約束進行重疊幀修正輸出準確的人體估計姿態(tài)與跟蹤數(shù)據(jù)包括，在CNN網(wǎng)絡(luò)模型中添加損失函數(shù)進行重疊幀一致性矯正，當(dāng)不同片段連續(xù)n幀輸入時且n≧2，獲得損失函數(shù)在歐氏距離上達到最小的估計數(shù)據(jù)。

2.如權(quán)利要求1所述的視頻中人體姿態(tài)估計與跟蹤方法，其特征在于，還包括對視頻數(shù)據(jù)進行預(yù)處理，將視頻數(shù)據(jù)進行預(yù)處理獲取單幀圖像，并對單幀圖像進行圖像預(yù)處理獲得預(yù)處理后的每幀圖像。

3.如權(quán)利要求2所述的視頻中人體姿態(tài)估計與跟蹤方法，其特征在于，視頻數(shù)據(jù)采集并進行預(yù)處理，將視頻數(shù)據(jù)轉(zhuǎn)換為幀序列的形式，得到圖像序列并進行圖像預(yù)處理，進行取均值、歸一化、縮放和裁剪。

4.如權(quán)利要求1所述的視頻中人體姿態(tài)估計與跟蹤方法，其特征在于，通過人體姿態(tài)估計網(wǎng)絡(luò)模型對視頻數(shù)據(jù)中每幀圖像進行人體姿態(tài)估計獲得估計數(shù)據(jù)，包括將某幀圖像壓縮到對應(yīng)CNN網(wǎng)絡(luò)模型的輸入尺寸，調(diào)用目標(biāo)檢測獲得該幀中各個目標(biāo)的檢測框，利用人體姿態(tài)估計深度學(xué)習(xí)模型將該幀中所有人體的關(guān)節(jié)點檢測出來并定位，生成姿態(tài)估計數(shù)據(jù)。

5.如權(quán)利要求1所述的視頻中人體姿態(tài)估計與跟蹤方法，其特征在于，通過光流估計算法獲取相鄰幀間光流估計結(jié)果包括，先將預(yù)處理后的圖像序列提取特征點，把相鄰兩幀圖像中每個像素的運動速度和運動方向計算出來，估計對應(yīng)特征點的運動矢量。

6.如權(quán)利要求5所述的視頻中人體姿態(tài)估計與跟蹤方法，其特征在于，對第-1幀、第幀圖像進行預(yù)處理，將兩幀圖像聯(lián)系在一起作為網(wǎng)絡(luò)輸入，通過卷積層和池化后提出特征，再經(jīng)過提煉模塊、向后反卷積和預(yù)測得到結(jié)果，把結(jié)果雙線性插值，關(guān)聯(lián)在反卷積后的特征圖上，輸入光流預(yù)測圖，進而估計對應(yīng)特征點的運動變化獲得相鄰幀間光流估計結(jié)果。

7.一種視頻中人體姿態(tài)估計與跟蹤系統(tǒng)，其特征在于，包括：

數(shù)據(jù)采集模塊，被配置為采集人體姿態(tài)估計數(shù)據(jù)集中的視頻數(shù)據(jù)；

數(shù)據(jù)處理模塊，被配置為通過人體姿態(tài)估計網(wǎng)絡(luò)模型對視頻數(shù)據(jù)中每幀圖像進行人體姿態(tài)估計獲得估計數(shù)據(jù)，并通過光流估計算法獲取相鄰幀間光流估計結(jié)果；

數(shù)據(jù)修正模塊，被配置為將估計數(shù)據(jù)以及相鄰幀間光流估計結(jié)果輸入到改進的CNN網(wǎng)絡(luò)模型中進行人體姿態(tài)跟蹤訓(xùn)練，并基于損失函數(shù)約束進行重疊幀修正輸出準確的人體估計姿態(tài)與跟蹤數(shù)據(jù)；

其中，基于損失函數(shù)約束進行重疊幀修正輸出準確的人體估計姿態(tài)與跟蹤數(shù)據(jù)包括，在CNN網(wǎng)絡(luò)模型中添加損失函數(shù)進行重疊幀一致性矯正，當(dāng)不同片段連續(xù)n幀輸入時且n≧2，獲得損失函數(shù)在歐氏距離上達到最小的估計數(shù)據(jù)。

8.一種計算機可讀存儲介質(zhì)，用于存儲計算機指令，其特征在于，所述計算機指令被處理器執(zhí)行時，完成如權(quán)利要求1-6任一所述的視頻中人體姿態(tài)估計與跟蹤方法。

9.一種電子設(shè)備，其特征在于，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成如權(quán)利要求1-6任一所述的視頻中人體姿態(tài)估計與跟蹤方法。