[發明專利]用于圖像處理的設備和方法

有效

• 申請號: 201210195561.2
• 申請日: 2012-06-13
• 公開（公告）號: CN102982577B
• 公開（公告）日: 2017-05-03
• 發明（設計）人: 河仁友;李泰炫
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 北京銘碩知識產權代理有限公司11286
• 代理人: 韓明星

本申請要求于2011年6月14日提交到韓國知識產權局的第10-2011-0057471號韓國專利申請的優先權權益，所述申請的公開通過引用合并于此。

技術領域

以下描述的示例性實施例涉及一種圖像處理設備和方法，更具體地講，涉及一種可通過在真實彩色圖像中包括虛擬對象來產生具有良好的真實性的真實彩色圖像的圖像處理設備和方法。

背景技術

隨著使用計算機圖形學的電影技術的發展，用于合成真實彩色圖像和虛擬對象的圖像處理的必要性正在增加并且需要高質量的合成的結果圖像。

然而，在傳統技術中，在真實彩色圖像中真實地表現虛擬對象方面存在一些限制。例如，由于缺乏關于真實彩色圖像之內的實際對象的信息，基于圖像的混合表現處理在真實地表現各種光學效果方面存在一些困難，其中，所述基于圖像的混合表現處理用于合成真實彩色圖像和針對虛擬對象預先被渲染的圖像。

例如，被對象反射或折射的照明燈的效果可能使實際對象和虛擬對象不協調。

發明內容

通過提供一種圖像處理設備實現前述和/或其它方面，其中，所述圖像處理設備包括：建模單元，通過輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生與實際對象對應的三維(3D)模型；計算器，基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，并產生差異圖像，其中，所述差異圖像包括通過將虛擬對象插入到3D模型而發生的彩色失真信息；渲染單元，用于通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。

計算器可包括：照明圖計算器，假設輸入深度圖像為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖；材質圖計算器，通過針對輸入彩色圖像的照明圖執行按像素劃分操作，產生3D模型的材質圖。

照明圖計算器可通過針對輸入深度圖像執行低帶通濾波和移動最小二乘(MLS)中的至少一個操作來去除輸入深度圖像的噪聲，并隨后可產生照明圖。

照明圖計算器可假設作為所述至少一個操作產生的光滑表面點云為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖。

計算器還可包括：發光圖計算器，基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，并根據作為基于光子的渲染的結果的光子和反光子之間的差，產生3D模型的發光圖；差異圖像計算器，通過針對發光圖和材質圖執行按像素乘積操作來產生差異圖像。

通過提供一種圖像處理設備實現前述和/或其它方面，所述圖像處理設備包括：建模單元，通過輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生3D模型；計算器，產生第一圖像和第二圖像之間的差異圖像，其中，第一圖像是通過基于輸入光環境信息以相機視圖渲染3D模型而獲得的，第二圖像是通過基于輸入光環境信息以相機視圖渲染3D模型和輸入虛擬對象而獲得的；渲染單元，通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。

圖像處理設備還可包括，其中，當第一圖像和第二圖像中的至少一個被渲染時，計算器使用基于光子的渲染、射線追蹤、光能傳遞處理中的至少一個。

通過提供一種圖像處理設備實現前述和/或其它方面，所述圖像處理設備包括：照明圖計算器，假設輸入深度圖像為均一材質，通過基于輸入光環境信息執行執行渲染，產生與輸入深度圖像相關的對象的照明圖；材質圖計算器，通過針對輸入彩色圖像的照明圖執行按像素劃分操作，產生對象的材質圖。

通過提供一種圖像處理方法實現前述和/或其它方面，所述方法包括：通過輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生與實際對象對應的3D模型；基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，以產生包括通過將虛擬對象插入到3D模型發生的彩色失真信息的差異圖像；通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。

通過提供一種圖像處理方法實現前述和/或其它方面，所述方法包括：通過輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生3D模型；產生第一圖像和第二圖像之間的差異圖像，其中，第一圖像是通過基于輸入光環境信息以相機視圖渲染3D模型而獲得的，第二圖像是通過基于輸入光環境信息以相機視圖渲染3D模型和輸入虛擬對象而獲得的；通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。