[發明專利]重建動態物體的表面優化方法及裝置

有效

• 申請號: 201811150607.2
• 申請日: 2018-09-29
• 公開（公告）號: CN109360268B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 徐楓;鄭成偉
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/55
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種重建動態物體的表面優化方法及裝置，其中，該方法包括：通過單個手持RGBD相機采集重建物體的彩色圖像序列和深度圖像序列；根據彩色圖像序列和深度圖像序列對每一幀求解當前相機位置，獲取重建物體的運動及環境光照，用融合的方式來更新物體當前的幾何和表面信息；根據清晰度從彩色圖像序列中挑選出多個關鍵幀，并優化關鍵幀的像素，使優化后的顏色圖像在像素塊上與原始輸入的顏色圖滿足預設條件；將重建物體的幾何信息進行加密，利用分辨率滿足預設值的顏色圖，將優化后每一個關鍵幀的顏色圖反投影回物體，得到重建物體的幾何與表面。該方法在動態物體上對物體的表面進行優化，得到清晰、準確的表面信息，并且適用廣泛。

技術領域

本發明涉及計算機視覺和圖形學技術領域，特別涉及一種重建動態物體的表面優化方法及裝置。

背景技術

三維重建在計算機視覺與圖像學中一個非常重要的問題，它在電影、動畫、虛擬現實和增強現實等領域有著廣泛的應用空間。深度相機與顏色相機能夠分別得到每個像素對應的深度值和顏色值，可以用來對物體的幾何和表面進行重建，但這些數據都存在著一些的誤差，導致最終重建出的物體表面效果會較差。

有一些相關的方法能夠對靜態的物體進行表面紋理的優化，但這些方法不適用于動態物體。有些方法能夠對動態的物體進行重建，但重建的表面效果較差。有些方法能夠得到效果較好的表面信息，但不能夠對動態物體進行重建。動態物體的重建對于各種應用又是十分重要的，例如對人的動作進行重建。相關技術中的動態物體的重建則更多的關注對物體運動的重建，忽視了設備帶來的種種誤差，導致重建的表面較差。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種重建動態物體的表面優化方法，該方法可以在動態物體上對物體的表面進行優化，得到清晰、準確的表面信息，適用廣泛。

本發明的另一個目的在于提出一種重建動態物體的表面優化裝置。

為達到上述目的，本發明一方面實施例提出了一種重建動態物體的表面優化方法，包括以下步驟：通過單個手持RGBD相機采集重建物體的彩色圖像序列和深度圖像序列；根據所述彩色圖像序列和所述深度圖像序列對于每一幀求解當前相機位置，并獲取所述重建物體的運動以及環境光照，并使用融合的方式來更新物體當前的幾何信息和表面信息；根據清晰度從所述彩色圖像序列中挑選出多個關鍵幀，并對所述多個關鍵幀的像素進行優化，以使優化后的顏色圖像在像素塊上與原始輸入的顏色圖滿足預設條件，同時在不同幀中物體的同一個表面點的顏色一致；將所述重建物體的幾何信息進行加密，以充分利用分辨率滿足預設值的顏色圖，并將每一個關鍵幀優化后的所述顏色圖反投影回物體，以得到所述重建物體的幾何與表面。

本發明實施例的重建動態物體的表面優化方法，通過利用像素塊對動態物體的表面進行優化，首先要解得物體的幾何和運動，只需要使用單個手持RGBD相機，然后優化一些顏色圖像幀的像素值，使得各個視角下所看到的物體表面相一致，從而得到物體最終清晰、準確的表面信息，并且適用廣泛。

另外，根據本發明上述實施例的重建動態物體的表面優化方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述重建物體的幾何信息通過體素空間中的截斷有向距離函數方法來進行表示，體素的運動由周圍稀疏節點的運動加權求和得到，運動使用雙四元混合數表達，并且所述環境光照使用球諧函數表示，在已知光照時由反射率和表面法向求得物體表面的顏色。

進一步地，在本發明的一個實施例中，所述根據所述彩色圖像序列和所述深度圖像序列對于每一幀求解當前相機位置，并獲取所述重建物體的運動以及環境光照，并使用融合的方式來更新物體當前的幾何信息和表面信息，包括：通過迭代最近點算法估計所述當前相機位置；構造勢能函數對運動W和光照L進行聯合求解，勢能函數包含兩個數據項和兩個正則項。

其中，所述勢能函數為：