[發明專利]用于渲染受影響的像素的系統和方法

有效

• 申請號: 201310193460.6
• 申請日: 2013-05-23
• 公開（公告）號: CN103426163B
• 公開（公告）日: 2017-04-12
• 發明（設計）人: A·大衛德森;P·哈瓦爾德;P·帕洛姆畢;J·維爾斯
• 申請（專利權）人: 索尼公司;索尼圖片技術股份有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 中國國際貿易促進委員會專利商標事務所11038
• 代理人: 羅銀燕

對相關申請的交叉引用

本申請要求在2012年5月24日提交、發明名稱為“RENDERING?AFFECTED?PIXELS”、被本申請的受讓人擁有的美國臨時專利申請系列號61/651361的優先權的權益，通過引用將其全部內容合并于此。

背景技術

以3D呈現的電影正變得極其普遍。一種實現三維圖像的方式是通過立體攝影術。在立體攝影術中，捕獲兩個圖像并把它們呈現給用戶，一個圖像來自左面的照相機并用于觀察者的左眼，一個圖像來自右面的照相機并用于觀察者的右眼。立體攝影術是最早的向觀察者產生3D圖像的方式之一。

然而，在創建兩個圖像而不僅僅是一個圖像中，立體攝影術會導致處理功率和時間上的明顯成本。事實上，通過當前技術并對于某些特別復雜的拍攝，渲染單個幀可能需要幾百個小時，并且對于第二視點或照相機使該時間加倍是負擔不起的。

因此，開發了重投影（re-projection）技術以通過如下方式將所渲染的眼睛的像素顏色值再次用于另一眼睛，從而創建3D圖像，所述方式是將像素顏色值映射到由包含希望的眼內距離的場景幾何圖形（geometry）所確定的用于第二觀察的適當點。在一種這樣的技術中，從深度圖（depth?map）創建網格并在渲染包（package）中渲染該網格。從渲染深度圖的照相機的視點使深度圖多邊形化，并且向網格分配UV坐標。然后將網格紋理化（textured），并隨后對于立體圖（stereographic）圖像可接著從任何其它視點或觀察角度（例如，從右眼）渲染網格。

然而，當前的這種重投影技術慢并且會導致不希望的結果。

另外，為了解決偽像，當前的重投影技術依賴于伸展或壓縮像素（即，在伸展的區域中填充與鄰居像素相同顏色的像素，或者在壓縮的情況下去除像素），這可導致不希望的偽像或者甚至保持于重投影的圖像上的孔。因此，需要對于這樣的重投影的改進方法。

在相關方面中，對于原本沒有利用立體視法的圖像或電影希望維度化的情況，需要一種方便的方式來創建用于第二眼睛的相應圖像，以得到用于3D觀察的立體對。

發明內容

在一個方面中，本發明針對用于使用深度圖和立體照相機對來迅速地從現有圖像創建新穎視圖的系統和方法。該系統和方法使用深度圖和眼內間隔以產生差異圖并然后產生畸變圖，該畸變圖被用于創建新的視圖。不存在對于構建網格或其它幾何圖形或者利用渲染器的需要。

在又一方面中，本發明針對用于解決重投影圖像中的偽像的系統和方法。在一種實現方式中，計算機系統渲染像素組的像素，該像素組被識別為在創建第二圖像（例如，第一圖像的立體圖像）時不希望地受到重投影的影響，該第二圖像與第一圖像一起形成立體對。其它像素不被渲染而僅被重投影。換句話說，處理將重投影與渲染組合，以創建使重投影偽像最小化的新的視圖。特別地，從重投影方法，使用畸變圖來確定鄰居像素的過量伸展或壓縮的區域，這樣的伸展被提供來避免孔的出現。這些區域被標記以被渲染。來自新視圖的重投影和渲染被合成以創建新的圖像。系統可通過僅渲染可得像素的裂片而不是圖像的所有像素來節省處理時間和資源。

在另一方面中，本發明針對執行深度布局處理的系統和方法，其中，創建2D板的新的偏移視圖，從而允許以前僅存在2D板的圖像的立體對。通過使用匹配移動照相機，產生近似于場景的定制幾何圖形，并且將2D旋轉（rotomation）或其它摳像技術應用來從該幾何圖形中切出形狀，以匹配或適配來自2D板的圖像。場景被近似，并且深度圖被創建。從匹配移動照相機創建的立體照相機然后與深度圖一起使用，以計算兩個視圖之間的差異圖。差異圖被處理以創建畸變圖。然后將畸變圖應用到原始圖像以創建偏移圖像。兩個圖像然后形成匹配的立體對。

在一個方面中，本發明針對一種用于基于第一圖像創建希望的第二圖像的方法，包括：從第一照相機角度接收第一圖像，第一圖像包含至少一個三維模型化對象，所述三維模型化對象到觀察面的距離是已知的或者是能夠確定的；從與第一照相機角度不同的第二照相機角度創建所述三維模型化對象的第二圖像；在第二圖像中確定第二圖像中表現不令人滿意的至少一個像素組；渲染第二圖像中表現不令人滿意的像素組；以及用經渲染的像素替代第二圖像中表現不令人滿意的像素組以創建希望的第二圖像。