[發明專利]一種基于光場EPI圖像的深度估計方法

有效

• 申請號: 202010107015.3
• 申請日: 2020-02-21
• 公開（公告）號: CN111260707B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 張駿;李坤袁;鄭陽;蔡洪艷;張旭東;孫銳;高雋
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于光場EPI圖像的深度估計方法，其特征是按如下步驟進行：

步驟1、對光場數據進行重聚焦，獲取重聚焦后的光場數據；

步驟1.1、將第n個場景的光場數據記為Lⁿ(u,v,x,y)，其中，u和v分別表示視角維度中任一水平視角和豎直視角，且M表示水平和垂直方向的最大視角數，且為奇數，x和y分別表示空間維度中任一水平方向和垂直方向的像素坐標，且x∈[1,X],y∈[1,Y]，X,Y分別表示不同視角圖像的寬和高，n∈[1,N]，N表示光場數據的總數；

步驟1.2、將第n個場景的光場數據Lⁿ(u,v,x,y)對應的中心視角的視差圖記為Gⁿ(x,y)，且Gⁿ(x,y)∈[a_n,b_n]，a_n表示視差范圍的最小值，b_n表示視差范圍的最大值；

對第n個場景的光場數據Lⁿ(u,v,x,y)重聚焦r次，從而對第n個場景Lⁿ(u,v,x,y)的視差范圍[a_n,b_n]進行r等分，并得到第n個場景的單位視差間隔進而得到第n個場景下第i次重聚焦對應的視差偏移值其中，i∈[1,r]；

步驟1.3、從空間維度的像素坐標(x,y)中選擇任意像素坐標作為第i次重聚焦之前的像素坐標，記為(x_i,y_i)，相對應第i次重聚焦后的像素坐標記為(x_i′,y_i′)，則

步驟1.4、利用式(1)和式(2)分別得到雙線性插值四周的空間坐標x_1i,x_2i,y_1i,y_2i：

式(1)和式(2)中，表示向下取整符號；

步驟1.5、利用式(3)得到雙線性插值四周的空間坐標x_1i,x_2i,y_1i,y_2i的權重

步驟1.6、遍歷視角維度中的全部視角，從而利用式(4)得到第n個場景下第i次重聚焦后的光場數據

步驟2、重復步驟1.3至步驟1.6，從而遍歷空間維度中的全部像素坐標，并得到相應像素坐標下的全部視角的光場數據，其中，第n個場景下第i次重聚焦后所對應的光場數據其對應的第i次重聚焦后的中心視角的視差圖

步驟3、提取重聚焦后的水平和垂直方向的光場EPI圖像；

步驟3.1、取v＝0，從而固定第n個場景下第i次重聚焦后的光場數據的水平方向視角，并利用式(5)獲得第n個場景下第i次重聚焦后的水平方向視角的子孔徑圖像集合

式(5)中，表示第n個場景下第i次重聚焦后水平方向第u列子孔徑圖像，且高和寬分別為Y和X；

進一步從子孔徑圖像集合中提取以任意一像素坐標為中心，且高和寬分別為M和W的水平方向EPI圖像其中，W為奇數；

步驟3.2、同理取u＝0，從而固定第n個場景下第i次重聚焦后光場數據的垂直方向視角，并利用式(6)獲得第n個場景下第i次重聚焦后的垂直方向視角的子孔徑圖像集合

式(6)中，表示第n個場景下第i次重聚焦后垂直方向第v行子孔徑圖像，且高和寬分別為Y和X；

進一步從子孔徑圖像集合中提取以所述像素坐標為中心，且高和寬分別為M和W的垂直方向EPI圖像其中，

步驟4、以像素坐標為中心，重復步驟3.1至步驟3.2，從而遍歷空間維度中的所有像素坐標，且提取第n個場景下第i次重聚焦后的水平和垂直方向的EPI圖像對的集合為：

相應提取的水平方向和垂直方向EPI圖像中心像素點對應視差值的集合為：

其中為第n個場景下第i次重聚焦后中心像素坐標對應的視差值；

步驟5、構建光場EPI圖像的深度估計模型；

步驟5.1、構建深度估計模型為雙支路并行的孿生網絡結構，且每個支路前端設置有關聯模塊；

所述關聯模塊依次由兩路多層感知器模塊、變換和轉置操作模塊、點乘運算模塊、轉置和變換模塊、ReLU激活函數和特征串接模塊組成；

步驟5.2、在每個支路上的關聯模塊之后，依次連接有s個卷積核大小為m×m的卷積模塊，每個卷積模塊依次由卷積核大小為m×m的第一卷積層、ReLU激活層、卷積核大小為m×m的第二卷積層、第一批歸一化層和第一ReLU激活層組成；

第s個卷積模塊之后再連接有t個卷積核大小為1×m的卷積模塊，每個1×m的卷積模塊依次由卷積核大小為1×m的第一卷積層、第二ReLU激活層、卷積核大小為1×m的第二卷積層、第二批歸一化層和第三ReLU激活層組成；

在第t個1×m的卷積模塊之后再連接所述關聯模塊后分出兩條支路，其中，一條支路由第t+1個卷積核大小為1×m的卷積模塊，以及卷積核大小為1×m的第一單層卷積層、第四ReLU激活層和卷積核大小為1×m的第二單層卷積層組成；

另一支路和殘差模塊相連，所述殘差模塊的基礎模塊是由卷積核大小為1×m的卷積模塊組成，并采用跳躍連接的方式進行連接；從而構成所述孿生網絡結構中的單個支路結構；

所述孿生網絡結構中的雙支路并行的兩個殘差模塊分別與所述特征串接模塊相連，所述特征串接模塊再與第t+2個卷積核大小為1×m的卷積模塊連接，從而構成所述深度估計模型；

步驟5.3、以像素坐標為中心，并以所述第n個場景下第i次重聚焦后的水平和垂直方向EPI圖像對作為所述深度估計模型的輸入，從而利用所述深度估計模型進行回歸預測，輸出第n個場景下第i次重聚焦后的單個像素點的視差值，記為并作為像素坐標的視差估計值；

以所述第n個場景下第i次重聚焦后的水平和垂直方向EPI圖像對的中心像素坐標對應的視差值作為光場數據視差的真實值，使用平均絕對誤差作為損失函數，并利用梯度下降算法對所述深度估計網絡模型進行訓練，從而得到訓練后的光場EPI圖像深度估計模型，進而利用所述光場EPI圖像深度估計模型實現對光場EPI數據的深度估計。