[發(fā)明專利]一種基于光場(chǎng)EPI圖像的深度估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010107015.3
• 申請(qǐng)日: 2020-02-21
• 公開（公告）號(hào): CN111260707B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 張駿;李坤袁;鄭陽;蔡洪艷;張旭東;孫銳;高雋
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06T7/50
• 分類號(hào): G06T7/50
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于光場(chǎng)EPI圖像的深度估計(jì)方法，其特征是按如下步驟進(jìn)行：

步驟1、對(duì)光場(chǎng)數(shù)據(jù)進(jìn)行重聚焦，獲取重聚焦后的光場(chǎng)數(shù)據(jù)；

步驟1.1、將第n個(gè)場(chǎng)景的光場(chǎng)數(shù)據(jù)記為Lⁿ(u,v,x,y)，其中，u和v分別表示視角維度中任一水平視角和豎直視角，且M表示水平和垂直方向的最大視角數(shù)，且為奇數(shù)，x和y分別表示空間維度中任一水平方向和垂直方向的像素坐標(biāo)，且x∈[1,X],y∈[1,Y]，X,Y分別表示不同視角圖像的寬和高，n∈[1,N]，N表示光場(chǎng)數(shù)據(jù)的總數(shù)；

步驟1.2、將第n個(gè)場(chǎng)景的光場(chǎng)數(shù)據(jù)Lⁿ(u,v,x,y)對(duì)應(yīng)的中心視角的視差圖記為Gⁿ(x,y)，且Gⁿ(x,y)∈[a_n,b_n]，a_n表示視差范圍的最小值，b_n表示視差范圍的最大值；

對(duì)第n個(gè)場(chǎng)景的光場(chǎng)數(shù)據(jù)Lⁿ(u,v,x,y)重聚焦r次，從而對(duì)第n個(gè)場(chǎng)景Lⁿ(u,v,x,y)的視差范圍[a_n,b_n]進(jìn)行r等分，并得到第n個(gè)場(chǎng)景的單位視差間隔進(jìn)而得到第n個(gè)場(chǎng)景下第i次重聚焦對(duì)應(yīng)的視差偏移值其中，i∈[1,r]；

步驟1.3、從空間維度的像素坐標(biāo)(x,y)中選擇任意像素坐標(biāo)作為第i次重聚焦之前的像素坐標(biāo)，記為(x_i,y_i)，相對(duì)應(yīng)第i次重聚焦后的像素坐標(biāo)記為(x_i′,y_i′)，則

步驟1.4、利用式(1)和式(2)分別得到雙線性插值四周的空間坐標(biāo)x_1i,x_2i,y_1i,y_2i：

式(1)和式(2)中，表示向下取整符號(hào)；

步驟1.5、利用式(3)得到雙線性插值四周的空間坐標(biāo)x_1i,x_2i,y_1i,y_2i的權(quán)重

步驟1.6、遍歷視角維度中的全部視角，從而利用式(4)得到第n個(gè)場(chǎng)景下第i次重聚焦后的光場(chǎng)數(shù)據(jù)

步驟2、重復(fù)步驟1.3至步驟1.6，從而遍歷空間維度中的全部像素坐標(biāo)，并得到相應(yīng)像素坐標(biāo)下的全部視角的光場(chǎng)數(shù)據(jù)，其中，第n個(gè)場(chǎng)景下第i次重聚焦后所對(duì)應(yīng)的光場(chǎng)數(shù)據(jù)其對(duì)應(yīng)的第i次重聚焦后的中心視角的視差圖

步驟3、提取重聚焦后的水平和垂直方向的光場(chǎng)EPI圖像；

步驟3.1、取v＝0，從而固定第n個(gè)場(chǎng)景下第i次重聚焦后的光場(chǎng)數(shù)據(jù)的水平方向視角，并利用式(5)獲得第n個(gè)場(chǎng)景下第i次重聚焦后的水平方向視角的子孔徑圖像集合

式(5)中，表示第n個(gè)場(chǎng)景下第i次重聚焦后水平方向第u列子孔徑圖像，且高和寬分別為Y和X；

進(jìn)一步從子孔徑圖像集合中提取以任意一像素坐標(biāo)為中心，且高和寬分別為M和W的水平方向EPI圖像其中，W為奇數(shù)；

步驟3.2、同理取u＝0，從而固定第n個(gè)場(chǎng)景下第i次重聚焦后光場(chǎng)數(shù)據(jù)的垂直方向視角，并利用式(6)獲得第n個(gè)場(chǎng)景下第i次重聚焦后的垂直方向視角的子孔徑圖像集合

式(6)中，表示第n個(gè)場(chǎng)景下第i次重聚焦后垂直方向第v行子孔徑圖像，且高和寬分別為Y和X；

進(jìn)一步從子孔徑圖像集合中提取以所述像素坐標(biāo)為中心，且高和寬分別為M和W的垂直方向EPI圖像其中，

步驟4、以像素坐標(biāo)為中心，重復(fù)步驟3.1至步驟3.2，從而遍歷空間維度中的所有像素坐標(biāo)，且提取第n個(gè)場(chǎng)景下第i次重聚焦后的水平和垂直方向的EPI圖像對(duì)的集合為：

相應(yīng)提取的水平方向和垂直方向EPI圖像中心像素點(diǎn)對(duì)應(yīng)視差值的集合為：

其中為第n個(gè)場(chǎng)景下第i次重聚焦后中心像素坐標(biāo)對(duì)應(yīng)的視差值；

步驟5、構(gòu)建光場(chǎng)EPI圖像的深度估計(jì)模型；

步驟5.1、構(gòu)建深度估計(jì)模型為雙支路并行的孿生網(wǎng)絡(luò)結(jié)構(gòu)，且每個(gè)支路前端設(shè)置有關(guān)聯(lián)模塊；

所述關(guān)聯(lián)模塊依次由兩路多層感知器模塊、變換和轉(zhuǎn)置操作模塊、點(diǎn)乘運(yùn)算模塊、轉(zhuǎn)置和變換模塊、ReLU激活函數(shù)和特征串接模塊組成；

步驟5.2、在每個(gè)支路上的關(guān)聯(lián)模塊之后，依次連接有s個(gè)卷積核大小為m×m的卷積模塊，每個(gè)卷積模塊依次由卷積核大小為m×m的第一卷積層、ReLU激活層、卷積核大小為m×m的第二卷積層、第一批歸一化層和第一ReLU激活層組成；

第s個(gè)卷積模塊之后再連接有t個(gè)卷積核大小為1×m的卷積模塊，每個(gè)1×m的卷積模塊依次由卷積核大小為1×m的第一卷積層、第二ReLU激活層、卷積核大小為1×m的第二卷積層、第二批歸一化層和第三ReLU激活層組成；

在第t個(gè)1×m的卷積模塊之后再連接所述關(guān)聯(lián)模塊后分出兩條支路，其中，一條支路由第t+1個(gè)卷積核大小為1×m的卷積模塊，以及卷積核大小為1×m的第一單層卷積層、第四ReLU激活層和卷積核大小為1×m的第二單層卷積層組成；

另一支路和殘差模塊相連，所述殘差模塊的基礎(chǔ)模塊是由卷積核大小為1×m的卷積模塊組成，并采用跳躍連接的方式進(jìn)行連接；從而構(gòu)成所述孿生網(wǎng)絡(luò)結(jié)構(gòu)中的單個(gè)支路結(jié)構(gòu)；

所述孿生網(wǎng)絡(luò)結(jié)構(gòu)中的雙支路并行的兩個(gè)殘差模塊分別與所述特征串接模塊相連，所述特征串接模塊再與第t+2個(gè)卷積核大小為1×m的卷積模塊連接，從而構(gòu)成所述深度估計(jì)模型；

步驟5.3、以像素坐標(biāo)為中心，并以所述第n個(gè)場(chǎng)景下第i次重聚焦后的水平和垂直方向EPI圖像對(duì)作為所述深度估計(jì)模型的輸入，從而利用所述深度估計(jì)模型進(jìn)行回歸預(yù)測(cè)，輸出第n個(gè)場(chǎng)景下第i次重聚焦后的單個(gè)像素點(diǎn)的視差值，記為并作為像素坐標(biāo)的視差估計(jì)值；

以所述第n個(gè)場(chǎng)景下第i次重聚焦后的水平和垂直方向EPI圖像對(duì)的中心像素坐標(biāo)對(duì)應(yīng)的視差值作為光場(chǎng)數(shù)據(jù)視差的真實(shí)值，使用平均絕對(duì)誤差作為損失函數(shù)，并利用梯度下降算法對(duì)所述深度估計(jì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，從而得到訓(xùn)練后的光場(chǎng)EPI圖像深度估計(jì)模型，進(jìn)而利用所述光場(chǎng)EPI圖像深度估計(jì)模型實(shí)現(xiàn)對(duì)光場(chǎng)EPI數(shù)據(jù)的深度估計(jì)。