[發明專利]一種視頻中人體姿態估計與跟蹤方法及系統

有效

• 申請號: 202110295774.1
• 申請日: 2021-03-19
• 公開（公告）號: CN113255429B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王海濱;紀文峰
• 申請（專利權）人: 青島根尖智能科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06N3/0464;G06N3/08;G06T7/246;G06T7/269
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

本公開提供了一種視頻中人體姿態估計與跟蹤方法及系統，包括：采集人體姿態估計數據集中的視頻數據；通過人體姿態估計網絡模型對視頻數據中每幀圖像進行人體姿態估計獲得估計數據，并通過光流估計算法獲取相鄰幀間光流估計結果；將N幀估計數據以及其中相鄰幀間光流估計結果，共N+(N?1)個參數輸入到改進的CNN網絡模型中進行人體姿態跟蹤訓練，并基于損失函數約束進行重疊幀修正輸出準確的人體估計姿態與跟蹤數據；可對視頻中人體快速運動時造成圖像模糊姿態估計不準確進行有效改善，提高視頻中人體姿態估計與跟蹤準確度。

技術領域

本公開涉及圖像處理與計算機視覺領域，具體涉及一種結合光流估計的視頻中人體姿態估計與跟蹤方法模型。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成現有技術。

近年來，基于深度學習的人體姿態估計基礎上，多人姿態估計、人體行為識別等課題的研究逐漸成為研究熱點，特別是在虛擬現實、視頻分析、身份鑒別、體感交互、人機互動、智能監控、醫療診斷等領域中有廣泛的應用前景，深度學習方法已經成為人們日常使用的工具。隨著計算機視覺學界從圖像理解轉向視頻理解，互聯網用戶從發布圖片朋友圈轉向發布短視頻，人們對視頻的研究和應用的關注不斷增強，光流估計作為視頻理解的隱形戰士，能夠為我們提供新的思路。

雖然，目前對靜止圖像人體姿態估計的研究取得了很大的成功，但是對于視頻類的人體姿態跟蹤仍然是一個具有挑戰性的課題。對基于結合光流估計算法的視頻中人體姿態跟蹤方法研究還比較少，大多是研究人體動作識別，并進行分類，很少考慮光流估計算法如何為2D人體姿態跟蹤提供指導幫助。然而，結合光流估計的視頻中人體姿態跟蹤方法研究不僅涉及深度學習、基于圖像人體姿態估計等問題，而且所采用的光流估計算法進行每一幀圖像之間運動量估計過程以及將二者相結合的模型較為復雜，因此綜合考慮這部分研究的文獻較少。

綜上所述，人體關節點跟蹤作為一個新興的研究領域，如何實現高精度的估計人體關節軌跡，完成姿態估計與追蹤是急需要解決的技術問題。

發明內容

為了解決上述問題，本公開提出了一種視頻中人體姿態估計與跟蹤方法及系統，具體提供了一種結合光流估計的視頻中人體姿態估計與跟蹤方法模型以準確估計人體關節點軌跡，完成姿態估計與跟蹤。

第一方面，本公開提供了一種視頻中人體姿態估計與跟蹤方法，包括：

采集人體姿態估計數據集中的視頻數據；

通過人體姿態估計網絡模型對視頻數據中每幀圖像進行人體姿態估計獲得估計數據，并通過光流估計算法獲取相鄰幀間光流估計結果；

將估計數據以及相鄰幀間光流估計結果輸入到改進的CNN網絡模型中進行人體姿態跟蹤訓練，并基于損失函數約束進行重疊幀修正輸出準確的人體估計姿態與跟蹤數據。

第二方面，本公開提供了一種視頻中人體姿態估計與跟蹤系統，包括：

數據采集模塊，被配置為采集人體姿態估計數據集中的視頻數據；

數據處理模塊，被配置為通過人體姿態估計網絡模型對視頻數據中每幀圖像進行人體姿態估計獲得估計數據，并通過光流估計算法獲取相鄰幀間光流估計結果；

數據修正模塊，被配置為將估計數據以及相鄰幀間光流估計結果輸入到改進的CNN網絡模型中進行人體姿態跟蹤訓練，并基于損失函數約束進行重疊幀修正輸出準確的人體估計姿態與跟蹤數據。

第三方面，本公開提供了一種計算機可讀存儲介質，用于存儲計算機指令，所述計算機指令被處理器執行時，完成如第一方面所述的視頻中人體姿態估計與跟蹤方法。

第四方面，本公開提供了一種電子設備，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成如第一方面所述的視頻中人體姿態估計與跟蹤方法。