[發明專利]三維模型的捕捉及重建方法和系統

有效

• 申請號: 201010141182.6
• 申請日: 2010-04-06
• 公開（公告）號: CN101833786A
• 公開（公告）日: 2010-09-15
• 發明（設計）人: 戴瓊海;李坤;徐文立
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G03B35/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

技術領域

本發明涉及計算機視頻處理技術領域，特別涉及一種三維模型的捕捉及重建方法和系統。

背景技術

對于動態場景的三維重建問題，很多工作將其看成靜態場景重建問題在時間維度上的簡單累加，即并不利用時間信息輔助場景重建，每一幀單獨進行靜態三維建模。但是這種方法復雜度高、存儲量大，不能保證幀與幀之間模型的拓撲一致性，容易產生抖動現象。此外采用上述方法進行三維建模無法對非剛體模型的運動情況進行有效分析，也無法通過時域上的插值獲得任意時刻的模型。通過對這類問題進行研究，現有技術提出了聯合求解3D場景流以及幾何模型的重建方法。進一步還提出了使用變分方法統一動態場景幾何和運動的重建，然而由于幾何重建和運動重建是迭代進行的，即通過某時刻的幾何重建作為運動重建的初始值推導下一時刻的模型重建，因此這種方法的時空聯合重建效率仍然不高，實際效果也并不盡人意。

因此，為了避免時空聯合重建難度大、質量一般的問題，另一類基于視頻的動態三維重建方法則以初始幀的靜態三維重建結果作為場景表示，然后應用三維運動跟蹤算法求解該三維物體的運動，并應用合適的變形算法驅動靜態模型運動，從而獲得動態三維重建結果。目前，基于視頻的三維運動跟蹤可以分為兩類：帶標記的三維運動跟蹤和無標記的三維運動跟蹤。其中，帶標記的三維運動跟蹤方法準確，但是需要被捕捉動作者穿上帶有標記的緊身服裝，從而限制了對形狀和紋理的捕捉。而無標記的三維運動跟蹤方法則克服了以上的缺陷。一種無標記的三維運動跟蹤方法是通過聯合運動學模型和衣服模型來捕捉穿著更加一般服裝的人體的運動，但是這種方法無法捕捉到運動對象的精確幾何結構。另一種無標記的三維運動跟蹤方法則可同時捕捉對象骨架和形狀的運動，然而由于一些局部表面并沒有隨時間做出應有的改變，因此該方法仍然無法有效地進行三維運動跟蹤。此外，因為該方法僅僅依靠輪廓信息，所以對輪廓誤差非常敏感。雖然這種無標記的方法靈活性提高了，但是很難達到與帶標記方法相同的精度。此外，大多數三維運動跟蹤方法都需要通過提取運動學骨架來幫助捕捉運動，而運動學骨架只能跟蹤剛體運動，所以這種方法往往需要其他掃描技術來輔助捕捉時變的形狀。最后，以上所有方法都不能跟蹤穿著任意服飾人的運動。

近年來，在計算機圖形學中，新的動畫捕捉與設計、動畫編輯以及變形傳遞方法不斷涌現。這些方法不再依賴于運動學骨架和運動參數，而是基于表面模型和一般的形狀變形方法，從而可以捕捉剛體以及非剛體的變形。但是，所有這種基于多視角視頻的運動捕捉及恢復方法，初始幀的靜態三維重建都需要采用激光掃描儀進行。雖然激光掃描儀可以獲得高精度的三維重建結果，但是激光掃描儀昂貴、費時費力，掃描期間人必須處于完全靜止不動狀態。而且為了后續工作的方便，人通常是兩手握拳站立的，所拍攝的多視角視頻也是雙手握拳做動作。另外，以激光掃描儀的重建結果作為初始場景表示的方法，所恢復的整個動態三維序列中都一直保留著掃描時模型上的一些表面特征，如衣服的褶皺等。

發明內容

本發明的目的旨在至少解決上述技術缺陷，本發明提出了一種靜態和動態三維模型的捕捉及重建方法和系統。

為達到上述目的，本發明一方面提出了一種靜態三維模型的捕捉及重建方法，包括以下步驟：對環形場中的運動物體進行圖像采集；獲取可視外殼模型；根據各個視角圖像、所述可視外殼模型以及預設的約束條件獲得各個視角的深度點云；對獲得的所述各個視角的深度點云進行融合得到靜態三維模型。

本發明另一方面還提出了一種靜態三維模型的捕捉及重建系統，包括：圍繞環形場的多個攝像機，用于對環形場中的運動物體進行圖像采集；靜態三維模型重建裝置，用于獲取可視外殼模型，并根據各個視角圖像、所述可視外殼模型以及預設的約束條件獲得各個視角的深度點云，以及對獲得的所述各個視角的深度點云進行融合得到靜態三維模型。

本發明再一方面還提出了一種動態三維模型的捕捉及重建方法，包括以下步驟：獲取靜態三維模型；將靜態三維模型的表面模型轉換為體模型，并將其作為運動跟蹤的默認場景表示；獲取模型頂點在下一時刻的初始三維運動；根據預定的空時約束條件從獲取的頂點中選擇精確的頂點作為體變形的位置約束；根據所述位置約束驅動拉普拉斯體變形框架更新動態三維模型。