[發明專利]一種基于深度學習的光場圖像深度估計方法

在審

• 申請號: 202010733319.0
• 申請日: 2020-07-27
• 公開（公告）號: CN112150526A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 鄭臻榮;王旭成;陶驍;陶陳凝;吳仍茂;孫鵬
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T5/00;G06T7/13;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 米志鵬

本發明公開了一種基于深度學習的光場圖像深度估計方法，包括如下步驟：根據光場相機的參數信息，解碼重構光場源文件，提取子孔徑圖像陣列；將子孔徑圖像輸入訓練好的神經網絡，計算得到估計的深度圖；對估計的深度圖進行濾波優化，得到最終估計的深度圖。本發明在神經網絡的基礎上結合了極平面圖像分析和圖像分割的方法，同時利用了深度特征和圖像的邊緣信息，改善了對實際光場圖像進行深度估計過程中存在的誤匹配問題，能夠對合成和實際光場圖像進行快速準確的深度估計。

技術領域

本發明涉及計算機視覺以及數字圖像處理技術領域，尤其涉及一種基于深度學習的光場圖像深度估計方法。

背景技術

近年來，隨著光場計算成像技術的發展，光場相機作為一種光場獲取設備進入了市場。在傳統相機模型的基礎上，光場相機在主透鏡與傳感器之間插入了一個微透鏡陣列，這種特殊的結構能夠使光場相機在一次曝光中同時記錄到達成像面所有光線的位置信息和角度信息，在后續處理中能夠實現深度估計、場景重聚焦等應用。

目前，一些基于光場的深度估計方法被提出，并取得了較好的效果，這些方法主要包括三種類型：基于子孔徑圖像匹配的方法、基于極平面圖像的方法和基于深度學習的方法。如公開號為CN108596965A提供的一種光場圖像深度估計方法，利用基于光場結構特性引導的深度估計，計算考慮遮擋問題下的光場圖像中心視點的彩色圖的深度圖；利用所述深度圖的梯度信息作為馬爾科夫隨機域框架中對全局深度進行優化的能量函數平滑項；采用多尺度多窗口的立體匹配，計算與中心視點圖像在同一水平位置上其他視點與中心視點的視差。但由于光場數據龐大的計算量，這類方法在計算時間和準確度之間存在著不可避免的折衷關系。如公開號為CN 107545586 A提供的基于極平面圖像的方法，通過計算由光場數據得到的極平面圖像中直線的斜率來得到對應區域的深度值。但由于極平面圖像的幾何特征，這類方法在具有遮擋或反射區域的場景中存在著一定的局限性。

隨著深度學習的發展，卷積神經網絡開始被用以研究光場圖像的深度估計問題?，F有的方法大多使用合成光場數據集進行訓練和測試，并取得了較好的效果。但是由光場相機拍攝的實際光場圖像相比合成光場圖像基線較窄，并含有大量的噪聲干擾，導致了這些方法在應用于實際光場圖像中的效果不佳，很大程度上制約了光場圖像深度估計方法在實際場景中應用的可行性。

發明內容

本發明提供一種基于深度學習的光場圖像深度估計方法，結合了極平面圖像和圖像分割網絡，設計了一種針對光場圖像深度估計的神經網絡模型，實現對合成光場圖像和實際光場圖像快速準確的深度估計。

為實現上述的發明目的，采用如下技術方案：

一種基于深度學習的光場圖像深度估計方法，包括以下步驟：

(1)根據光場相機的參數信息，解碼重構光場源文件，提取子孔徑圖像陣列；

(2)將子孔徑圖像輸入至訓練好的神經網絡中計算，得到二次估計的深度圖；

所述的神經網絡包括：

極平面圖像部分，用于從子孔徑圖像中提取初始估計的深度圖；

圖像分割部分，用于從子孔徑圖像中提取出圖像的邊緣信息；

級聯部分，用于根據初始估計的深度圖和邊緣信息，進行卷積得到二次估計的深度圖；

(3)對二次估計的深度圖進行中值濾波，去除部分噪聲，得到最終估計的深度圖。

可選的，在步驟(1)中，通過處理相機拍攝的白圖像以獲取光場相機的參數信息；

將光場源文件解碼，并經過濾波處理和顏色校正后得到所需要的子孔徑圖像陣列。