[發明專利]一種用于3D對象建模的設備和方法

無效

• 申請號: 201010601913.0
• 申請日: 2010-12-10
• 公開（公告）號: CN102542601A
• 公開（公告）日: 2012-07-04
• 發明（設計）人: 張輝;孫迅;焦少輝;金庸善
• 申請（專利權）人: 三星電子株式會社;北京三星通信技術研究有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 韓明星;李娜娜

技術領域

本發明涉及三維(3D)對象建模技術，具體說來，涉及一種能夠基于預定義的3D對象模板自動進行3D對象建模的有效設備和方法。

背景技術

在三維(3D)計算機圖形領域中，3D對象建模是指產生任意三維對象的算術表示的處理，該處理產生的結果稱為3D對象模型。

3D對象建模在數字娛樂等領域具有廣泛的應用，例如，在虛擬現實、增強現實、3D電影、3D游戲、人機交互等技術中均需要進行3D對象建模。目前的多數3D對象建模還需要通過相關專業人員進行手動操作來實現，這種方式不僅耗費時間，而且需要大量的人為參與。

另一方面，在關于自動3D對象建模的現有技術中，如果輸入圖像的數量有限，則無法針對3D建模的對象給出足夠的形狀約束。例如，在第10927241號美國專利“Method?and?apparatus?for?image-based?photorealistic?3D?face?modeling”中，對于臉頰部分幾乎無法提供形狀方面的約束，而基本上由形狀模板來確定。

另外，單純的二維圖像/視頻數據無法針對不受控照明環境或紋理較少的對象區域給出良好的形狀信息。為了解決這一問題，很多現有技術利用統計模型來提高建模質量。然而，統計模型的獲取需要花費大量的時間和成本，并且針對每種不同的對象類型均需要提供相應的統計模型，因此，統計模型由于缺少便利性而在應用上受到限制。

在利用深度圖像進行3D對象建模的情況下，由于深度圖像自身比較稀疏，所以需要對深度圖像的數據進行超分辨率處理以提高建模質量。然而，現有的超分辨率處理(例如，第11444947號美國專利“Method?and?system?to?increase?X-Y?resolution?in?a?depth?camera?using?RGB”)均僅采用局部內插處理，這往往導致生成的形狀不夠圓滑且與實際的對象存在誤差。

在自動3D對象建模技術中，經常會針對基于圖像/視頻/深度圖像進行的建模應用非線性優化處理。然而，所述非線性優化處理卻有其自身的缺陷，即，不具有較好的魯棒性且需要非常好的初始值才能夠實現較好的性能。此外，優化處理通常需要進行迭代運算，所以速度非常緩慢。

因此，需要提供一種能夠基于預定義的3D對象模板自動進行3D對象建模的有效設備和方法。

發明內容

本發明的目的在于提供一種能夠基于預定義的3D對象模板自動進行3D對象建模的有效設備和方法，根據所述3D對象建模設備和方法，能夠基于多視角圖像和深度圖像對預定義的模板進行變形，并生成相應的紋理，從而有效地進行3D對象建模。

根據本發明的一方面，提供一種用于3D對象建模的設備，所述設備包括：圖像接收單元，用于接收拍攝的彩色圖像和深度圖像，其中，彩色圖像包括正向彩色圖像和至少兩幅其它視角的側向彩色圖像，深度圖像為正向深度圖像；3D模板提供單元，用于提供針對特定種類的對象而預定義的3D對象模板，其中，所述3D對象模板具有形狀特征和紋理特征；對象建模單元，用于基于由圖像接收單元接收的彩色圖像和深度圖像對由3D模板提供單元提供的3D對象模板進行變形處理，并對彩色圖像和變形處理后的3D對象模板進行紋理合成，以生成3D對象模型。

所述對象建模單元可包括：特征提取模塊，用于從彩色圖像提取用于確定對象形狀的特征信息；前景分離模塊，用于通過產生前景掩膜圖像從正向彩色圖像和正向深度圖像分離出感興趣的前景圖像；超分辨率處理模塊，用于執行超分辨率處理以產生對應于正向彩色圖像的密集深度圖；變形處理模塊，用于基于由特征提取模塊提取的特征信息以及由超分辨率處理模塊產生的密集深度圖對由3D模板提供單元提供的3D對象模板進行變形處理；紋理生成模塊，用于對彩色圖像和變形處理后的3D對象模板進行紋理合成，以生成3D對象模型。

前景分離模塊對正向深度圖像進行前景分割以得到前景掩膜，然后，利用已知的標定參數，將與前景掩膜相應的深度像素投影到正向彩色圖像平面，以在正向彩色圖像上形成稀疏的2D點集合，對所述稀疏的2D點之間的間隙進行填充，以在正向彩色圖像上形成相應的前景圖像。

前景分離模塊利用摳像技術對得到的前景圖像的邊界進行細化。

超分辨率處理模塊將深度圖像中的像素投影到正向彩色圖像平面，以獲取正向彩色圖像像素中具有深度值的種子點，基于獲取的種子點和正向彩色圖像來執行局部插值運算，從而產生對應于正向彩色圖像的密集深度圖，對所述密集深度圖進行量化，并對量化的密集深度圖執行全局優化，以提高其平滑性。