[發明專利]一種3D人體姿態估計模型的構建方法及其應用

有效

• 申請號: 202110554484.4
• 申請日: 2021-05-21
• 公開（公告）號: CN113205595B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 許毅平;田巖;許學杰
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V40/10;G06V10/80;G06K9/62
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 祝丹晴

1.一種3D人體姿態估計模型的構建方法，其特征在于，包括以下步驟：

S1、搭建3D人體姿態估計模型；所述3D人體姿態估計模型包括M個特征提取模塊和與各所述特征提取模塊相連的特征融合模塊；M大于或等于2；

M個所述特征提取模塊用于對輸入的人體2D骨架時序數據在M個不同感受野大小上進行時域卷積和圖卷積，以提取其在時間維度上的運動特征和在空間維度上的空間結構特征，從而得到M個不同尺度的時空特征；所述人體2D骨架時序數據為Q幀人體各關節點的2D位置數據；Q大于或等于2；

所述特征融合模塊用于將所述M個不同尺度的時空特征進行融合，得到人體各關節點3D位置的預測值；

S2、以最小化人體各關節點3D位置的預測值與真實值之間的差異以及最小化估計到的左右對稱的關節長度的差異為目標，采用預采集好的訓練集訓練所述3D人體姿態估計模型；其中，所述訓練集中的訓練樣本包括2D骨架時序數據及其對應的各關節點的3D位置數據。

2.根據權利要求1所述的3D人體姿態估計模型的構建方法，其特征在于，第一個特征提取模塊包括級聯的第一時域卷積單元、圖卷積單元和第二時域卷積單元；

第M個特征提取模塊的輸入端與第M-1個特征提取模塊中的圖卷積單元的輸出端相連；所述第M個特征提取模塊包括級聯的第一時域卷積單元、圖池化單元和圖卷積單元；

當M大于或等于3時，第i個特征提取模塊的輸入端與第i-1個特征提取模塊中的圖卷積單元的輸出端相連；所述第i個特征提取模塊包括級聯的第一時域卷積單元、圖池化單元、圖卷積單元和第二時域卷積單元；i＝2,3,…,M-1。

3.根據權利要求2所述的3D人體姿態估計模型的構建方法，其特征在于，所述第一個特征提取模塊用于對輸入的人體2D骨架時序數據依次進行時域卷積、圖卷積和時域卷積操作，得到第一個尺度的時空特征，輸出至所述特征融合模塊；并將其中進行圖卷積操作后的中間時空特征輸出至下一個特征提取模塊；

所述第M個特征提取模塊用于對輸入的中間時空特征依次執行時域卷積、圖池化和圖卷積操作，得到第M個尺度的時空特征，并輸出至所述特征融合模塊；

當M大于或等于3時，所述第i個特征提取模塊用于對輸入的中間時空特征依次執行時域卷積、圖池化、圖卷積和時域卷積操作，得到第i個尺度的時空特征，輸出至所述特征融合模塊；并將其中進行圖卷積后的中間時空特征發送至第i+1個特征提取模塊。

4.根據權利要求3所述的3D人體姿態估計模型的構建方法，其特征在于，所述第M個特征提取模塊中的圖池化方法包括：直接對中間時空特征進行時域卷積后的結果進行Topk池化操作；

當M大于或等于3時，所述第i個特征提取模塊中的圖池化方法包括：將人體關節按照四肢、頭部和軀干進行分組，對每組關節所對應的中間時空特征進行時域卷積后的結果分別進行Topk池化操作；

其中，k取值為1。

5.根據權利要求1-4任意一項所述的3D人體姿態估計模型的構建方法，其特征在于，所述特征融合模塊用于從j＝M開始進行時空特征融合操作；具體為：對第j個尺度的時空特征與第j-1個尺度的時空特征進行融合，并將第j-1個尺度的時空特征更新為融合后的結果；令j＝j-1，重復上述時空特征融合操作，直至j＝1，得到更新后的第一個尺度的時空特征后對其進行圖卷積操作，得到人體各關節點3D位置的預測值。

6.根據權利要求5所述的3D人體姿態估計模型的構建方法，其特征在于，所述對第j個尺度的時空特征與第j-1個尺度的時空特征進行融合的方法包括：對所述第j個尺度的時空特征進行上采樣后執行圖卷積操作，使得其大小與所述第j-1個尺度的時空特征的大小相同后，將二者進行加和。