[發明專利]一種基于深度學習的三維人體姿態估計方法及系統

有效

• 申請號: 202110067988.3
• 申請日: 2021-01-19
• 公開（公告）號: CN112766153B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 劉曉平;王冬;謝文軍;蔡有城;沈子祺
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/82;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 高寧馨

本發明公開了一種基于深度學習的三維人體姿態估計方法及系統，包括圖像獲取模塊獲取圖像及對獲取的圖像進行二維關節提取的二維關節提取模塊，得到二維關節；利用關節點變換模塊對二維關節提取模塊獲取的二維關節進行關節點變換；利用三維關節提取模塊和三維關節預訓練模塊對關節點變換模塊執行關節點變換后的二維關節進行聯合深度學習訓練并提取三維人體姿態。能自動學習變換參數，對于二維姿態變換過程更加適用，通過限定變換過程中，能對二維姿態的坐標點直接適應性變換，防止了深度學習過程中的誤差過大問題。

技術領域

本發明涉及三維人體姿態技術領域，具體為一種基于深度學習的三維人體姿態估計方法及系統。

背景技術

三維人體姿態是現有計算機視覺中十分重要的一部分，一般來說，人體姿態分為圖像到二維姿態的提取、圖像到三維姿態的提取以及二維姿態到三維姿態的提取三個重要的研究領域。在進行三維人體提取的過程中，其中，直接由圖像到三維姿態的提取精度較差，因此本申請的研究是以圖像到二維姿態的提取及二維姿態到三維姿態的提取為基礎。

在目前的計算機視覺中，對于數據增強幾乎都是應用在圖像的層面，例如2020年發表的論文《Adversarial Semantic Data Augmentation for Human Pose Estimation》中，采用語義增強的方法對原圖像進行數據增強，使得訓練出來的網絡更具魯棒性；在人體姿態上，2018年就有研究指出通過圖像的訓練來增強數據，《Adversarial DataAugmentation in Human Pose Estimation》一文就很清楚的闡述了GAN網絡對于圖像的數據增強，使得原圖像數據在旋轉、尺度和遮掩的情況下進行學習，實現了網絡的進一步提升。

然而，對于現有的二維人體姿態提取上，以圖像為研究對象，確實能利用上述方案對圖像進行增強，但是由于三維人體姿態直接從圖像上獲取的精度無法保證，而且從二維姿態到三維姿態的數據也無法直接對圖像操作，因此現有技術當中對于二維姿態到三維姿態的人體姿態估計一直沒有很好的數據增強方案，使得這項研究處于空白階段。

就在2020年，一項研究獲得了關注，《Cascaded Deep Monocular 3D Human PoseEstimation with Evolutionary Training Data》一文，發表于CVPR2020，其中對于二維人體姿態數據給出了變換的過程，如說明書附圖的圖8所示，給出利用關節點的變換構建新的人體姿態數據，這給二維人體姿態指明了一個研究方向。但是，很明顯，這項研究是直接的數學操作，等于是將原本的數據集集中進行了數學變換，通過文中給出的公式，是對原二維人體姿態進行固定變換，從而獲取變換后的人體姿態，無法給出到適應網絡參數學習二維人體姿態，也更無法給出對應的三維人體姿態作為監督信號來供新網絡來學習，文中更是指出，在數據量滿足條件的情況下，文中效果也并不能達到2019年《3D human poseestimation in video with temporal convolutions and semi-supervised training》的效果，該方向的數據增強很難給出一個適應性的數據增強方案。

因此，本申請基于二維人體姿態的特點，結合圖像當中的數據增強方案，提出了一種基于深度學習的三維人體姿態估計方法及系統。

發明內容

針對以上問題，本發明提供了一種基于深度學習的三維人體姿態估計方法及系統，能自動學習變換參數，對于二維姿態變換過程更加適用，通過限定變換過程中，能對二維姿態的坐標點直接適應性變換，防止了深度學習過程中的誤差過大問題，可以有效解決背景技術中的問題。

為實現上述目的，本發明提供如下技術方案：

一種基于深度學習的三維人體姿態估計方法，包括圖像獲取模塊獲取圖像及對獲取的圖像進行二維關節提取的二維關節提取模塊，得到二維關節；

利用關節點變換模塊對二維關節提取模塊獲取的二維關節進行關節點變換；