[發明專利]采集和顯示三維光場的方法和系統

無效

• 申請號: 200780010904.0
• 申請日: 2007-03-28
• 公開（公告）號: CN101411207A
• 公開（公告）日: 2009-04-15
• 發明（設計）人: 沃伊切赫·毛圖希克;漢斯皮特·菲斯特;馬蒂亞斯·茨維克爾;弗雷多·多納德
• 申請（專利權）人: 三菱電機株式會社
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 北京三友知識產權代理有限公司
• 代理人: 李 輝

技術領域

本發明總體上涉及采集和顯示光場，更具體地說，涉及利用攝像機的陣列采集光場并對該光場重采樣以顯示在自動多視點(automultiscopic)顯示器件上。

背景技術

人們希望采集真實的三維場景的圖像并將該三維場景圖像顯示為逼真的三維圖像。自動多視點顯示器使得能夠在觀看區域中的任意位置無限制地(即，不戴眼鏡)觀看高分辨率立體圖像。自動多視點顯示器包括具有不同強度(intensity)的視點相關像素和基于視角的顏色。視點相關像素可以使用常規的高分辨率顯示器和視差柵欄(parallax-barrier)來實現。

在典型的自動多視點顯示器中，圖像通過視差柵欄投影到柱面光柵(lenticular?sheet)或整體式透鏡光柵(lens?sheet)上。一百多年前就已經知道了多視點自動立體觀察的光學原理，參見Okoshi，Three-Dimensional?Imaging?Techniques，Academic?Press，1976。具有高分辨率的實用顯示器最近已可供使用。結果，三維電視重新受到關注。

然而，自動多視點顯示器具有幾個問題。首先，移動的觀眾會看到干擾性的視覺偽影(artifact)。其次，難以獲得無偽影的三維圖像。廣播和電影行業的攝影師、攝像師和專業人員不熟悉用于記錄三維圖像所需的復雜設置。不象常規的二維電視那樣，目前沒有針對多攝像機參數、布置及制作后加工的指南或標準。

具體地說，在大多數實際情況中，圖像傳感器(即，攝像機)中的像素并不以一對一方式直接映射到顯示器件中的像素。這需要對圖像數據進行重采樣。該重采樣需要以使得視覺偽影最小化的方式進行。還沒有對自動多視點顯示器的光場進行有效重采樣的現有技術。

用于三維顯示的大多數現有的抗混疊技術使用波動光學。所有巳知的方法都沒有正確地處理遮擋(occlusion)和鏡面。此外，為了進行適當濾波，這些方法需要以每像素為基礎的景深(scene?depth)。在缺乏深度信息的情況下，這些方法使用的是保守最壞情況方法并基于場景中的最大深度進行濾波。實際上，這限制了在具有非常淺深度的場景方面的實現。

通常，自動多視點顯示器發出靜態的或時變的光場。光場代表了輻射(radiance)，所述輻射作為在空間中的無遮光物區域中的位置和方向的函數。使用全光采樣理論(plenoptic?sampling?theory)進行光場的頻率分析。其中，對場景的頻譜進行分析，該頻譜是目標深度的函數。這揭示出大多數光場是混疊的。可以應用重構(reconstruction)濾波器來去除混疊并盡可能地保留原始頻譜。

重新參數化(re-parameterization)可用于在自動多視點顯示器上顯示光場。然而，重新參數化沒有解決顯示混疊。重構濾波器可以用寬孔徑濾波器來增強。這能夠產生具有較大場深(field?ofdepth)的三維圖像，而不犧牲焦平面上的銳度。

沒有一種現有技術方法解決了自動多視點顯示器的采樣和抗混疊。這些現有技術方法不考慮顯示器的采樣率，而僅考慮了在重構過程中從采樣的光場去除混疊的問題。

發明內容

本發明提供了一種可以用于電視和數字娛樂的三維顯示系統。這種顯示系統需要高質量光場數據。光場是使用攝像機陣列來采集的，并且該光場在分離的自動多視點顯示器上呈現。然而，大多數時間，采集裝置和顯示器件具有不同的采樣模式。

因此，本發明對光場數據進行重采樣。然而，重采樣易于發生混疊偽影。在光場數據的顯示中最麻煩的偽影是由透視間混疊(inter-perspective?aliasing)引起。

本發明提供了使得這種混疊最小化的對光場重采樣的方法。該方法保證了光場在自動多視點顯示器上的高質量顯示。該方法合并了光場重構濾波器和根據顯示器件的采樣柵格(sampling?grid)確定的顯示預濾波器。

與現有技術方法對比，本重采樣法不需要深度信息。本方法有效地合并了多個濾波階段以產生高質量顯示。本方法可用于在柱面顯示屏幕或視差柵欄顯示屏幕上顯示光場。

附圖說明

圖1A是根據本發明一個實施方式的用于采集并在三維顯示器件上顯示三維光場的系統的俯視圖；

圖1B是根據本發明一個實施方式的用于對光場進行重采樣和抗混疊的方法的流程圖；

圖2是根據本發明一個實施方式的顯示參數化的示意圖；

圖3是根據本發明一個實施方式的四邊形采樣柵格；

圖4是根據本發明一個實施方式的帶寬要求的示意圖；