[發明專利]一種基于邊緣修復的虛擬視點圖像頻域快速獲取方法

有效

• 申請號: 201610024590.0
• 申請日: 2016-01-14
• 公開（公告）號: CN105704476B
• 公開（公告）日: 2018-03-20
• 發明（設計）人: 趙健;夏軍
• 申請（專利權）人: 東南大學
• 主分類號: H04N13/282
• 分類號: H04N13/282
• 代理公司: 南京蘇高專利商標事務所(普通合伙)32204
• 代理人: 孟紅梅

技術領域

本發明涉及立體顯示領域，具體涉及一種基于邊緣修復的虛擬視點圖像頻域快速獲取方法。

背景技術

傅里葉切片定理又叫做中心切片定理。它由Bracewell于1956年在對射電天文學進行研究時提出的，它也是醫學圖像處理的理論基礎。該定理的提出為后來在信號處理、圖像處理等領域帶來了極大的幫助。

三維顯示系統將場景的三維信息完全地再現出來，顯示具有縱深感的圖像。觀看者可以直接看出場景中各物體的遠近，迅速直觀地洞察場景中物體的三維空間關系，從而獲得完整和準確的信息。正如聲音的記錄與再現不斷向立體、高保真方向發展一樣，圖像也從二維向三維、高分辨方向發展。

下一代高分辨率三維顯示技術能夠完美呈現三維場景中所有物體的位置、角度、顏色、細節特征等豐富信息，具有連續視角和空間深度感，更符合人眼的觀看習慣，但是顯示所需的數據量需要比現有系統需提高2～3個數量級。巨大的信息量對于復雜場景的高速表征、實時光波場描述和再現系統的空間帶寬積提出了更高的要求。因此必須對海量信息的三維顯示的像源處理方法就變得尤為重要。

目前行業內所使用的幾種方案包括以下幾種，其一，采用3DMAX模擬仿真獲取，優點是它可以模擬任意拍攝環境，但是它只能處理虛擬場景。其二，采用相機陣列，優點是它可以它可以拍出立體效果很好的像源，但是其制作成本較高，且操作復雜。還有就是飛利浦采用的像素匹配方案，但是對于高分辨率像源，它的最大問題就是處理時間很長。另外，對于空洞填充，文獻Region Filling and Object Removal by Exemplar-Based Image Inpainting有提到Criminisi算法，但它面對的是整個空洞區域填充，非常耗時。

發明內容

發明目的：解決高分辨率三維顯示中高清像源快速獲取的問題，本發明公開了一種基于傅里葉中心切片定理和邊緣修復的虛擬視點圖像快速獲取方法。

技術方案：為實現上述發明目的，本發明采用如下技術方案：

一種基于邊緣修復的虛擬視點圖像頻域快速獲取方法，該方法包括如下步驟：

(1)三維光場重建：根據2D圖像和景深圖建立三維光場矩陣P(x,y,z)；

(2)邊緣修復：對步驟(1)中得到的三維矩陣的背景層中的空洞區域進行邊緣填充；

(3)傅里葉切片：對步驟(2)中邊緣填充后的三維矩陣進行快速傅里葉變換，獲得三維光場的頻域信息Q(m,n,w)，其中m,n,w軸分別與x,y,z軸對應，然后對該頻域信息進行特定角度的二維切片，將所述二維切片進行傅里葉反變換即得到不同指定角度的單視點圖像。

所述步驟(1)中根據2D圖像和景深圖建立三維光場矩陣的方法為：首先建立一個具有N層的三維矩陣P(x,y,z)，其中x-y面為2D圖像面，z為層數；然后根據景深圖，將2D圖中對應的像素填充到在三維矩陣的不同層；其中，x-y面大小與2D圖像大小一致，z與N之間滿足公式：其中depth為景深值。

所述步驟(2)中采用改進Criminisi算法對三維矩陣的背景層中的空洞區域進行邊緣填充，具體為：當滿足條件時，將匹配窗口像素灰度值填充到待填充區域，λ加1，重復該操作，直到不滿足條件λ≤num(z)；其中，ψ_q表示待填充區域，ψ_p表示匹配窗口，num(z)為每一層單個空洞區單行域需要填充的像素個數，λ為該行已經填充的像素個數，SSD為圖像相關性算法函數。

所述步驟(3)中的二維切片M(a,b)的大小與2D圖像一致，M(a,b)為沿著頻域信息Q(m,n,w)的n軸，并與w軸的夾角為θ向m-w面的切片，或者沿著m軸，并與w軸的夾角為θ向n-w面的切片，θ為指定的角度。

若M(a,b)為沿著頻域信息Q(m,n,w)的n軸，并與w軸的夾角為θ向m-w面的切片，a＝m*cosθ,b＝m*sinθ；若M(a,b)為沿著頻域信息Q(m,n,w)的m軸，并與w軸的夾角為θ向n-w面的切片，a＝n*cosθ,b＝n*sinθ。

當b不為整數時，設頻域信息Q(m,n,w)中每個點(m,n,w)的信息為I(m,n,w)，b的整數部分為b1，小數部分為b2，那么實際填充到切片M(a,b)中的信息為I(m,n,w)*(1-b2)+I(m,n,w+1)*b2。