[發明專利]一種視頻序列的三維人體模型姿態與形狀重構方法

有效

• 申請號: 201810456021.2
• 申請日: 2018-05-14
• 公開（公告）號: CN108629801B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 李桂清;曾志超
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種視頻序列的三維人體模型姿態與形狀重構方法，包括步驟：1)提取視頻幀中人物的二維關節點；2)提取視頻幀中人物的臉部特征點；3)提取視頻幀中人物的二維輪廓線；4)估計攝像機參數，據攝像機參數可以生成透視矩陣；5)采用優化方法進行模型姿態和形狀的優化；6)獲取三維人體模型在攝像機視角下的邊緣點及其與二維輪廓線的匹配關系；7)采用優化方法進行模型形狀的再次優化，使得在攝像機視角下三維模型的邊緣點投影后的位置與視頻幀中二維輪廓點的位置距離之差的總和最小。本發明可以避免重構過程中的姿態翻轉問題，也可以在保證模型整體姿態相似性的同時準確地重構出頭部姿態。

技術領域

本發明涉及計算機圖形學和三維人體網格模型重構的技術領域，尤其是指一種視頻序列的三維人體模型姿態與形狀重構方法。

背景技術

三維人體模型姿態與形狀重構是指通過信息采集獲取人體運動的信息，再根據這些信息重構出三維人體模型。這種技術對于三維人體建模、模型編輯、游戲制作等都有著重要意義。視頻序列的三維人體模型姿態與形狀重構則是從人運動的視頻中提取姿態與形狀信息，并利用這些信息，重構出與視頻人物有相似姿態與形狀的三維人體模型的運動序列。

目前基于視頻或者圖像的三維人體模型姿態與形狀重構方法往往假設在重構前有一個很好的人體輪廓。Sigal等人改進了過去用這種粗糙的人體模型來進行三維人體重構的缺陷，提出了一個從單目圖像中自動地重構出具有姿態和形狀的三維人體模型的算法，并率先使用了一個包含姿態和形狀等表面細節的參數化三維人體網格模型(SCAPE模型)。Guan等也提出了使用SCAPE模型來表示重構結果的方發。該方法首先人工地標出照片上二維關節點的位置，再利用經典的方式估計出三維姿態的骨架，然后利用這個骨架作為驅動，調整SCAPE模型的參數，從而獲取具有相似姿態的三維人體模型。最后將三維模型投影到二維圖像上，通過匹配對應的輪廓和圖像的邊界來優化模型的形狀。在相似的工作中，Halsler等也提出了將參數化的人體模型匹配到輪廓中方法。Bogo等提出的SMPLify是第一個從靜態的圖像中重構出具有姿態和形狀的三維人體模型的自動化方法。

此外，還有一些研究工作通過其他專用設備來獲取信息并重構出三維人體模型。Aguiar等提出了一個從多視角視頻中重構出三維人體模型的方法。該方法不需要在視頻圖像上標識固定點，且其不僅可以重構出具有姿態和形狀的三維人體模型，還可以重構出視頻中人物的衣物等表面紋理。Bogo等利用單目的RGB-D攝像機精確地重構出了具有形狀的三維人體模型。2017年Newcombe等提出了一個DynamicFusion方法。該算法利用拍攝的RGB-D數據可以實時地重構出對應的場景，并且在拍攝過程中不斷地優化構建的場景，使構建的場景越來越精細。

以上借助于專用設備的方法采集到的信息更加豐富，其重構的三維人體模型在姿態和形狀上也更為準確。然而，受限于專用設備的配置，這類方法在實際生活中個并不能得到很好的應用。而上述基于視頻或圖像的三維人體模型重構方法主要缺點有：(1)無法避免姿態翻轉問題；(2)重構的模型在形狀上與視頻圖像差異較大或者只包含骨架模型；(3)重構的三維模型頭部狀態不準確。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一種視頻序列的三維人體模型姿態與形狀重構方法，可以避免重構過程中的姿態翻轉問題，也可以在保證模型整體姿態相似性的同時準確地重構出頭部姿態，此外，本發明還可以對模型形狀做出恰當調整，使重構地到的三維人體模型在形狀上與視頻序列中的人物更加相似。

為實現上述目的，本發明所提供的技術方案為：一種視頻序列的三維人體模型姿態與形狀重構方法，包括以下步驟：

1)提取視頻幀中人物的二維關節點；

2)提取視頻幀中人物的臉部特征點；

3)提取視頻幀中人物的二維輪廓線；