[發明專利]一種基于深度學習的光場圖像深度估計方法

在審

• 申請號: 202010733319.0
• 申請日: 2020-07-27
• 公開（公告）號: CN112150526A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 鄭臻榮;王旭成;陶驍;陶陳凝;吳仍茂;孫鵬
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T5/00;G06T7/13;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 米志鵬

1.一種基于深度學習的光場圖像深度估計方法，其特征在于，包括以下步驟：

(1)根據光場相機的參數信息，解碼重構光場源文件，提取子孔徑圖像陣列；

(2)將子孔徑圖像輸入至訓練好的神經網絡中計算，得到二次估計的深度圖；

所述的神經網絡包括：

極平面圖像部分，用于從子孔徑圖像中提取初始估計的深度圖；

圖像分割部分，用于從子孔徑圖像中提取出圖像的邊緣信息；

級聯部分，用于根據初始估計的深度圖和邊緣信息，進行卷積得到二次估計的深度圖；

(3)對二次估計的深度圖進行中值濾波，去除部分噪聲，得到最終估計的深度圖。

2.如權利要求1所述的基于深度學習的光場圖像深度估計方法，其特征在于，在步驟(1)中，通過處理相機拍攝的白圖像以獲取光場相機的參數信息；

將光場源文件解碼，并經過濾波處理和顏色校正后得到所需要的子孔徑圖像陣列。

3.如權利要求1所述的基于深度學習的光場圖像深度估計方法，其特征在于，將子孔徑圖像的形狀調整為正方形后輸入所述的神經網絡。

4.如權利要求1所述的基于深度學習的光場圖像深度估計方法，其特征在于，所述的極平面圖像部分由多流網絡和合并網絡組成。

5.如權利要求4所述的基于深度學習的光場圖像深度估計方法，其特征在于，所述多流網絡的輸入為中心的9×9子孔徑圖像，從中提取出0°、45°、90°和135°四個方向的極平面圖像，并分別使用定義好的卷積模塊進行卷積，提取出場景的深度特征。

6.如權利要求4所述的基于深度學習的光場圖像深度估計方法，其特征在于，所述的合并網絡與多流網絡的輸出相連接，對其進行卷積，用于計算不同方向極平面圖像之間深度特征的關系，得到初始估計的深度圖。

7.如權利要求4所述的基于深度學習的光場圖像深度估計方法，其特征在于，所述極平面圖像部分和級聯部分采用3×3的小卷積核，步長為1；卷積過程中使用相同填充，保持輸出的深度圖大小與輸入的子孔徑圖像大小一致。

8.如權利要求1所述的基于深度學習的光場圖像深度估計方法，其特征在于，所述圖像分割部分的輸入為中心子孔徑圖像，并使用卷積層、池化層和反卷積層，用于提取圖像的邊緣信息。

9.如權利要求1所述的基于深度學習的光場圖像深度估計方法，其特征在于，所述神經網絡使用包含真實深度圖的光場數據集作為訓練集，并采用隨機采樣灰度補丁的方法進行訓練，以平均絕對誤差作為損失函數，其定義如下：

其中，L為損失函數，W為權重矩陣，b為偏置系數，T為訓練補丁的數量，H為網絡的前向傳播函數，g為輸入的9×9光場子孔徑圖像，d為真實深度圖的灰度補丁塊；

通過迭代訓練減小損失函數的值，降低最終估計的深度圖與真實深度圖之間的灰度值之差，直至判定訓練已趨向飽和，結束訓練并保存訓練好的神經網絡參數。

10.如權利要求9所述的基于深度學習的光場圖像深度估計方法，其特征在于，所述神經網絡在訓練之前對訓練集做數據增加處理，包括旋轉、翻轉、gamma變換以及添加隨機噪聲的處理，用于避免過擬合，以及提高網絡的泛化能力。