[發明專利]用于圖像處理的設備和方法

有效

• 申請號: 201210195561.2
• 申請日: 2012-06-13
• 公開（公告）號: CN102982577B
• 公開（公告）日: 2017-05-03
• 發明（設計）人: 河仁友;李泰炫
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 北京銘碩知識產權代理有限公司11286
• 代理人: 韓明星

1.一種圖像處理設備，包括：

建模單元，使用輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像來產生與實際對象對應的三維(3D)模型；

計算器，基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，產生包括通過將虛擬對象插入到3D模型而發生的照明差異的發光圖，并使用發光圖產生差異圖像，其中，所述差異圖像包括通過將虛擬對象插入到3D模型而發生的顏色失真信息；

渲染單元，通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。

2.如權利要求1所述的圖像處理設備，其中，計算器包括：

照明圖計算器，假設輸入深度圖像為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖；

材質圖計算器，通過針對輸入彩色圖像的照明圖執行按像素劃分操作，產生3D模型的材質圖。

3.如權利要求2所述的圖像處理設備，其中，照明圖計算器通過針對輸入深度圖像執行低帶通濾波和移動最小二乘MLS中的至少一個操作來去除輸入深度圖像中的噪聲，并隨后產生照明圖。

4.如權利要求3所述的圖像處理設備，其中，照明圖計算器假設作為所述至少一個操作的結果而產生的光滑表面點云為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖。

5.如權利要求2所述的圖像處理設備，其中，計算器還包括：

發光圖計算器，基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，并根據作為基于光子的渲染的結果而計算出的光子和反光子之間的差，產生3D模型的發光圖；

差異圖像計算器，通過針對發光圖和材質圖執行按像素乘積操作來產生差異圖像。

6.一種圖像處理設備，包括：

建模單元，使用輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生3D模型；

計算器，產生包括通過將虛擬對象插入到3D模型而發生的照明差異的發光圖，并使用發光圖產生第一圖像和第二圖像之間的差異圖像，其中，第一圖像是通過基于輸入光環境信息以相機視圖渲染3D模型而獲得，第二圖像是通過基于輸入光環境信息以相機視圖渲染3D模型和輸入虛擬對象而獲得；

渲染單元，通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。

7.如權利要求6所述的圖像處理設備，其中，當第一圖像和第二圖像中的至少一個被渲染時，計算器使用基于光子的渲染、射線追蹤、光能傳遞處理中的至少一個。

8.一種圖像處理設備，包括：

照明圖計算器，假設輸入深度圖像為均一材質，通過基于輸入光環境信息執行渲染，產生與輸入深度圖像相關的對象的照明圖，并產生包括通過將虛擬對象插入到3D模型而發生的照明差異的發光圖；

材質圖計算器，用于通過針對輸入彩色圖像的照明圖執行按像素的劃分操作，產生對象的材質圖。

9.一種圖像處理方法包括：

使用輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生與實際對象對應的3D模型；

基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，以產生包括通過將虛擬對象插入到3D模型而發生的照明差異的發光圖，并使用發光圖產生包括通過將虛擬對象插入到3D模型而發生的顏色失真信息的差異圖像；

通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。

10.如權利要求9所述的方法，其中，產生差異圖像的步驟包括：

假設輸入深度圖像為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖；

產生包括通過將虛擬對象插入到3D模型而發生的照明差異的發光圖，

通過針對輸入彩色圖像的照明圖執行按像素劃分操作，產生3D模型的材質圖。

11.如權利要求10所述的方法，其中，產生照明圖的步驟包括：通過針對輸入深度圖像執行低帶通濾波和移動最小二乘MLS中的至少一個操作來去除輸入深度圖像中的噪聲，并隨后產生照明圖。

12.如權利要求11所述的方法，其中，產生照明圖的步驟包括：假設作為所述至少一個操作的結果而產生的光滑表面點云為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖。