[發明專利]實時動態重建三維人體模型的方法及系統

有效

• 申請號: 201711229894.1
• 申請日: 2017-11-29
• 公開（公告）號: CN108154551B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 劉燁斌;蘇肇祺;黃源浩
• 申請（專利權）人: 奧比中光科技集團股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80;G06N3/08
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

本發明提出一種實時動態重建三維人體模型的方法，包括步驟：S1：獲取運動人體的彩色RGB和深度D圖像序列；S2：在所述彩色RGB圖像序列中提取人體骨架信息；S3：配準每一幀的所述彩色RGB圖像序列和所述深度D圖像序列，形成RGBD圖像序列，并將提取出的所述人體骨架信息嵌入到所述RGBD圖像序列中；S4：將提取的所述骨架信息加入到骨架運動跟蹤能量項中，從而指導骨架運動符合采集到的人體運動；S5：使用基于動態融合方法求解的非剛性場對人體表面點云運動進行進一步完善，從而重建出當前人體模型。本發明實時動態重建三維人體模型的方法及系統，能夠使用單個傳感裝置實時動態地重建當前人體三維模型。

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種實時動態重建三維人體模型的方法及系統。

背景技術

三維重建是計算機視覺領域的重點問題。高質量的三維模型在影視娛樂、文物保護、機械加工等各個領域都有著重要的應用價值。而關于人體三維重建方法，由于人本身運動情況的復雜多變、表面非剛性運動較多，因此是三維重建領域的一個較大的難題。尤其是單個傳感裝置采集的人體信息，由于人體信息采集不全，則更難對人體的模型進行很好地跟蹤和重建。現有的已完成的工作當中，DynamicFusion方法能夠較好地實時重建人體的表面模型，但難以跟蹤較快的人體運動。

發明內容

本發明的目的是為了解決現有技術不能利用單個傳感裝置實時動態地重建人體三維模型的問題，提出一種實時動態重建三維人體模型的方法及系統。

本發明實時動態重建三維人體模型的方法，包括以下步驟：S1：獲取運動人體的彩色RGB圖像序列和深度D圖像序列；S2：利用深度學習方法在所述彩色RGB圖像序列中提取人體骨架信息；S3：配準每一幀的所述彩色RGB圖像序列和所述深度D圖像序列，形成RGBD圖像序列，并將提取出的所述人體骨架信息嵌入到所述RGBD圖像序列中；S4：將提取的所述骨架信息加入到骨架運動跟蹤能量項中，從而指導骨架運動符合采集到的人體運動；S5：使用基于動態融合方法求解的非剛性場對人體表面點云運動進行進一步完善，從而重建出當前人體模型。

優選地，所述步驟S2中在所述彩色RGB圖像序列中提取人體骨架信息，是指結合深度學習算法，將所述彩色RGB圖像序列數據進行降采樣處理，并輸入到給定算法的CNN網絡中，通過已經經過深度學習訓練出的網絡結果，從輸入的圖片中提取出所述人體的骨架信息。

優選地，所述步驟S4中的能量項E_skeleton為：

E_skeleton＝λ_trackingE_tracking+λ_jointE_joint

其中，E_tracking是骨架驅動的點云運動約束；E_joint是骨架運動與檢測并嵌入的骨架信息進行配準的約束，兩者的計算公式分別如下：

其中，為模型表面點在骨架驅動變形之后的法向量；為模型表面點在骨架驅動變形之后的位置；u_i為模型表面點在深度圖上的對應點；j_{i_detect}為檢測到的關節點信息；j_{i_cal}為計算出的關節點信息。

基于上述實時動態重建三維人體模型的方法，本發明還提出一種實時動態重建三維人體模型的系統，包括存儲器，存放程序；處理器，運行所述程序，以控制所述實時動態重建三維人體模型的系統執行上面任一所述的實時動態重建三維人體模型的方法。

本發明還提出一種包含計算機程序的計算機可讀存儲介質，所述計算機程序可操作來使計算機執行上面任一所述的實時動態重建三維人體模型的方法。

與現有技術相比，本發明的有益效果有：