[發明專利]一種3D人體姿態估計模型的構建方法及其應用

有效

• 申請號: 202110554484.4
• 申請日: 2021-05-21
• 公開（公告）號: CN113205595B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 許毅平;田巖;許學杰
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V40/10;G06V10/80;G06K9/62
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 祝丹晴

本發明公開了一種3D人體姿態估計模型的構建方法及其應用，屬于人體姿態估計領域；其中，3D人體姿態估計模型包括M個特征提取模塊和與各特征提取模塊相連的特征融合模塊；本發明充分利用了人體在空間結構上的多尺度特征以及時間維度上關節點的長期運動特征，通過M個特征提取模塊分別在多個不同感受野大小上提取輸入的人體2D骨架時序數據在時間維度上的運動特征和在空間維度上的空間結構特征，得到多個不同尺度的融合時空特征，并通過特征融合模塊對不同尺度的融合時空特征進行融合，有效的提升了模型對于人體2D骨架序列的特征提取能力，提高了3D姿態估計網絡的預測精度。

技術領域

本發明屬于人體姿態估計領域，更具體地，涉及一種3D人體姿態估計模型的構建方法及其應用。

背景技術

3D人體姿態估計是指通過RGB圖像或視頻，對于人體關節點的3D坐標進行預測，相比于傳統的2D姿態估計方法，由于3D姿態具備立體的空間結構信息，在行為識別、人機交互等場景下都有重要應用價值。

當前基于視頻的3D人體姿態估計方法大致可以分為兩類，一類采用端到端方式，利用深度學習網絡直接從輸入的RGB視頻中預測出人體3D關節點位置；另一類則采用兩階段方式，首先利用已有的2D姿態估計網絡從輸入視頻中提取出人體的2D骨架，然后利用連續的多幀2D骨架進行3D關節點預測。

對于端到端的3D姿態估計方法，由于其輸入是二維圖像矩陣，所以網絡在學習過程中可以獲得更多的顏色、紋理等對于關節點恢復有用的信息，但是相對的當輸入視頻的場景過于復雜或是目標和背景區分不大時，端到端的方式也更容易受到顏色、光照等因素的影響。并且端到端的網絡在訓練時需要有3D骨架關節點的真實坐標作為訓練監督，由于此類數據非常難以獲取，當前可供使用的數據集較少場景也較為單一，導致此類網絡精度和泛化能力都較差。而對于兩階段的3D姿態估計方法，由于當前2D姿態估計網絡已經非常成熟，具備較高的精度和較強的泛化能力，通過2D姿態估計網絡從RGB圖像中估計出人體的2D骨架，消除掉圖像中背景、光照等因素的影響，然后構建2D骨架到3D骨架的預測網絡，實現3D人體姿態估計，這個過程也使得模型整體對于不同場景具備了一定的泛化能力。盡管如此，當前兩階段的3D姿態估計方法也仍然存在諸多問題，例如當前已有的基于單目視頻的兩階段3D姿態估計網絡往往需要大量骨架幀作為輸入才能獲得較為準確的3D人體姿態，導致模型在姿態估計速度上較慢。且當前網絡往往過度關注于時間或空間單一維度的特征，3D姿態估計的精度較低。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供一種基于時空特性融合的3D人體姿態估計方法，用以解決采用現有技術進行3D姿態估計精確度較低的技術問題。

為了實現上述目的，第一方面，本發明提供了一種3D人體姿態估計模型的構建方法，包括以下步驟：

S1、搭建3D人體姿態估計模型；其中，3D人體姿態估計模型包括M個特征提取模塊和與各特征提取模塊相連的特征融合模塊；M大于或等于2；

M個特征提取模塊用于對輸入的人體2D骨架時序數據在M個不同感受野大小上進行時域卷積和圖卷積，以提取其在時間維度上的運動特征和在空間維度上的空間結構特征，從而得到M個不同尺度的時空特征；人體2D骨架時序數據為Q幀人體各關節點的2D位置數據；Q大于或等于2；

特征融合模塊用于將M個不同尺度的時空特征進行融合，得到人體各關節點3D位置的預測值；

S2、以最小化人體各關節點3D位置的預測值與真實值之間的差異以及最小化估計到的左右對稱的關節長度的差異為目標，采用預采集好的訓練集訓練3D人體姿態估計模型；其中，訓練集中的訓練樣本包括2D骨架時序數據及其對應的各關節點的3D位置數據。

進一步優選地，第一個特征提取模塊包括級聯的第一時域卷積單元、圖卷積單元和第二時域卷積單元；