[發(fā)明專利]一種光場圖像的深度提取方法

在審

• 申請?zhí)枺?/td>: 201710392000.4
• 申請日: 2017-05-27
• 公開（公告）號: CN107135388A
• 公開（公告）日: 2017-09-05
• 發(fā)明（設(shè)計）人: 姚莉;劉云建
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: H04N13/02
• 分類號: H04N13/02;H04N13/00
• 代理公司: 南京眾聯(lián)專利代理有限公司32206
• 代理人: 許小莉

技術(shù)領(lǐng)域：

本發(fā)明涉及一種光場圖像的深度提取方法，屬于圖像處理和計算機視覺技術(shù)領(lǐng)域。

背景技術(shù)：

1991年，Adelson等首次提出了全光函數(shù)的概念，用7個維度進行描述，分別為觀察點的空間位置(Vx,Vy,Vz)、光線的俯仰角和方位角(θ,φ)波長l觀察記錄光線的時刻t，表示為L＝P(Vx,Vz,θ,φ,l,t)。1992年，Adelson成功將光場理論應(yīng)用與計算機視覺，并提出了全光場理。1996年，Levoy的光場渲染理論及Steven等的流明圖進一步地完善了光場理論。Leovy等人給出的4D光場L(u，v，s，t)的光場表示方式，其意義為自由空間中任意點沿著一定方向的光線的輻射度值，該空間所有的有向光線的集合就構(gòu)成了光場的一個數(shù)據(jù)集。隨著光場成像發(fā)展，其作為一種成像與計算相結(jié)合的新興三維成像技術(shù)，擁有低成本的硬件設(shè)備、比較簡單的光學(xué)成像系統(tǒng)、豐富的圖像數(shù)據(jù)以及多樣的數(shù)據(jù)后期處理方式等優(yōu)點，成為了很多國內(nèi)外機構(gòu)和研究人員的研究熱點。他們在遮擋物的顯現(xiàn)、物體的分層與分割、景物的重聚焦、物體的三維模型重構(gòu)和三維流場測速等方面取得了重要的成果，其中主要技術(shù)在于光場的重構(gòu)表現(xiàn)及深度的精確提取。

由于光場圖像的設(shè)備硬件條件限制以及各光學(xué)設(shè)備參數(shù)之間的關(guān)系，使得相鄰子圖像之間的基線異常狹窄，視差范圍也在幾個像素范圍內(nèi)，即使使用目前最優(yōu)的立體匹配算法也不能得到滿意效果，需要針對光場特性進行研究，尋找適用于光場圖像的深度提取方法。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種光場圖像的深度提取方法，能夠?qū)鈭鰯?shù)據(jù)處理獲得清晰多視點圖像并進行精確深度提取。

上述的目的通過以下技術(shù)方案實現(xiàn)：

一種光場圖像的深度提取方法，該方法包括兩個階段：光場重構(gòu)和深度提取，

所述光場重構(gòu)階段包括：

S1：將輸入的光場數(shù)據(jù)進行預(yù)處理后根據(jù)該圖像的圖像中心位置重構(gòu)出光場，生成多視點圖像；

所述深度提取階段包括：

S2：對視點圖像提取極平面圖，計算視差圖，優(yōu)化得到最優(yōu)深度圖。

所述的光場圖像的深度提取方法，所述的光場重構(gòu)的方法包括如下步驟：

S11：對光場圖像的子圖像中心位置進行標(biāo)定；

S12：對輸入的光場數(shù)據(jù)進行解碼、優(yōu)化和規(guī)則化處理；

S13：重構(gòu)出光場，獲得多視點圖像。

所述的光場圖像的深度提取方法，步驟S11中所述對光場圖像的子圖像中心位置進行標(biāo)定的方法具體包括如下步驟：獲取不同對焦及變焦情況下的多曝光白圖像，其圖像中對應(yīng)的子圖像中心各不相同，通過峰值檢測處理可以得到該對焦、變焦和曝光程度下對應(yīng)子圖像中心的位置，對同一對焦和變焦下的不同曝光圖像，圖像中心取其位置計算的均值。由此，建立對焦、變焦和圖像中心位置對應(yīng)表。對于輸入的光場圖像，獲取其拍攝時的變焦、對焦參數(shù)后，選擇與表中參數(shù)最接近的白圖像的中心位置來標(biāo)定該光場圖像。

所述的光場圖像的深度提取方法，步驟S12中所述對輸入的光場數(shù)據(jù)進行解碼、優(yōu)化和規(guī)則化處理的方法具體包括如下步驟：

S121：將圖像進行解碼、優(yōu)化：將光場相機采集到的原始數(shù)據(jù)進行解碼得到對應(yīng)的彩色圖像，初步解碼后的圖像會存在灰度值偏低以及由于漸暈效應(yīng)造成的圖像邊緣像素過暗問題，分別使用γ過濾和函數(shù)逼近法將圖像進行優(yōu)化；

S122：圖像的規(guī)則化：將子圖像從六邊形規(guī)則化為正方形圖像，使用六邊形-正交格點的轉(zhuǎn)換來校正六邊形子圖像組成的原始圖像，得到規(guī)則化圖像。

所述的光場圖像的深度提取方法，步驟S13中所述重構(gòu)出光場，獲得多視點圖像的具體方法是：根據(jù)針孔成像模型中世界坐標(biāo)系、相機坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系之間的關(guān)系及轉(zhuǎn)化方式，結(jié)合光場空間的成像方程，使用優(yōu)化后的圖像重構(gòu)出光場，根據(jù)輸入的視點位置，固定該位置的平面參數(shù)，將范圍內(nèi)的光線進行積分得到對應(yīng)的視點圖像。

所述的光場圖像的深度提取方法，所述的深度提取的方法包括如下步驟：

S21：將多視點圖像抽取出極平面圖；

S22：利用分梯度方法得到最優(yōu)視差點集和視差圖；

S23：視差圖融合、優(yōu)化得到精確深度圖。

所述的光場圖像的深度提取方法，步驟S21中所述的將多視點圖像抽取出極平面圖的具體方法是：選定一個視點對應(yīng)的圖像作為深度提取的參考圖像，使用與該視點同一水平及豎直方向的其他視點圖像，將多視點圖像在水平及垂直方向上抽取極平面圖。