[發(fā)明專利]光場(chǎng)相機(jī)的場(chǎng)景深度估計(jì)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210447419.6
• 申請(qǐng)日: 2022-04-26
• 公開（公告）號(hào): CN114757984A
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 溫建偉;李營;其他發(fā)明人請(qǐng)求不公開姓名
• 申請(qǐng)（專利權(quán)）人: 北京拙河科技有限公司
• 主分類號(hào): G06T7/557
• 分類號(hào): G06T7/557;G06T7/70;G06N3/04;G06N3/08
• 代理公司: 北京君莫知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11715
• 代理人: 王凝

1.一種光場(chǎng)相機(jī)的場(chǎng)景深度估計(jì)方法，其特征在于，包括：

獲取訓(xùn)練圖像；

將所訓(xùn)練圖像輸入預(yù)先構(gòu)建的深度預(yù)測(cè)模型中進(jìn)行訓(xùn)練，所述深度預(yù)測(cè)模型包括深度預(yù)測(cè)單元、卷積-反卷積單元、位姿識(shí)別單元和特征融合單元，得到對(duì)應(yīng)的預(yù)測(cè)深度圖；

將所得到的預(yù)測(cè)深度圖與對(duì)應(yīng)的第一損失函數(shù)和第二損失函數(shù)的聯(lián)合損失函數(shù)進(jìn)行聯(lián)合損失計(jì)算，得到對(duì)應(yīng)的真實(shí)深度估計(jì)圖，所述聯(lián)合損失函數(shù)為：

2.根據(jù)權(quán)利要求1所述的光場(chǎng)相機(jī)的場(chǎng)景深度估計(jì)方法，其特征在于，在將所獲取的訓(xùn)練圖像輸入預(yù)先構(gòu)建的深度預(yù)測(cè)模型中進(jìn)行訓(xùn)練之前，還包括：

將所述訓(xùn)練圖像進(jìn)行擴(kuò)充，將所述訓(xùn)練圖像進(jìn)行縮放、旋轉(zhuǎn)和隨機(jī)水平翻轉(zhuǎn)處理中至少一項(xiàng)操作，得到第一訓(xùn)練圖像；

將擴(kuò)充后的訓(xùn)練圖像調(diào)整至分辨率得到第二訓(xùn)練圖像，并將所述第二訓(xùn)練圖像進(jìn)行歸一化處理，得到預(yù)處理后的訓(xùn)練圖像；

對(duì)于每個(gè)所述訓(xùn)練圖像，獲取所述訓(xùn)練圖像的前幀圖像和后幀圖像，并在以上三張圖像中均確認(rèn)出一個(gè)同名點(diǎn)位，所述同名點(diǎn)位用于表征所述三張圖像中相同目標(biāo)的位置。

3.根據(jù)權(quán)利要求2所述的光場(chǎng)相機(jī)的場(chǎng)景深度估計(jì)方法，其特征在于，所述將所獲取的訓(xùn)練圖像輸入預(yù)先構(gòu)建的深度預(yù)測(cè)模型中進(jìn)行訓(xùn)練，包括：

將所述訓(xùn)練圖像輸入至所述卷積-反卷積單元，生成當(dāng)前反卷積特征圖像；

將所述訓(xùn)練圖像、所述前幀圖像和所述后幀圖像輸入至位姿識(shí)別單元，得到相機(jī)在所述訓(xùn)練圖像、所述前幀圖像和所述后幀圖像拍攝時(shí)刻下與所述同名點(diǎn)位的相對(duì)位姿；

將所述當(dāng)前反卷積特征圖像和所述相對(duì)位姿輸入至特征融合單元，得到特征融合圖像；

將所述特征融合圖像輸入至所述深度預(yù)測(cè)單元，得到所述預(yù)測(cè)深度圖。

4.根據(jù)權(quán)利要求3所述的光場(chǎng)相機(jī)的場(chǎng)景深度估計(jì)方法，其特征在于，所述將所述訓(xùn)練圖像輸入至所述卷積-反卷積單元，生成當(dāng)前反卷積特征圖像，包括：

對(duì)所述訓(xùn)練圖像進(jìn)行下采樣，生成分辨率依次下降的多個(gè)特定層特征圖像，所述特定層特征圖像的數(shù)量為4個(gè)。

5.根據(jù)權(quán)利要求1所述的光場(chǎng)相機(jī)的場(chǎng)景深度估計(jì)方法，其特征在于，所述真實(shí)深度圖利用flownet2.0獲得雙目圖像的光流的水平分量。

6.根據(jù)權(quán)利要求1所述的光場(chǎng)相機(jī)的場(chǎng)景深度估計(jì)方法，其特征在于，在所述聯(lián)合損失函數(shù)中，所述第一損失函數(shù)包括L_rank、L_ms-ssim、L_grad，所述第二損失函數(shù)包括和L_rank表示基于隨機(jī)采樣的排序損失，L_ms-ssim表示多尺度結(jié)構(gòu)相似損失函數(shù)，L_grad表示多尺度不變梯度匹配損失函數(shù)，vs為視圖合成損失；λ_s與λ_e為調(diào)節(jié)參數(shù)；為掩模；m為不同的圖像尺度。

7.一種光場(chǎng)相機(jī)的場(chǎng)景深度估計(jì)裝置，其特征在于，包括：

訓(xùn)練圖像獲取模塊，用于獲取訓(xùn)練圖像；

訓(xùn)練模塊，用于將所訓(xùn)練圖像輸入預(yù)先構(gòu)建的深度預(yù)測(cè)模型中進(jìn)行訓(xùn)練，所述深度預(yù)測(cè)模型包括深度預(yù)測(cè)單元、卷積-反卷積單元、位姿識(shí)別單元和特征融合單元，得到對(duì)應(yīng)的預(yù)測(cè)深度圖；

真實(shí)深度估計(jì)圖獲取模塊，用于將所得到的預(yù)測(cè)深度圖與對(duì)應(yīng)的第一損失函數(shù)和第二損失函數(shù)的聯(lián)合損失函數(shù)進(jìn)行聯(lián)合損失計(jì)算，得到對(duì)應(yīng)的真實(shí)深度估計(jì)圖，所述聯(lián)合損失函數(shù)為：

8.如權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括：

第一訓(xùn)練圖像獲取模塊，將所述訓(xùn)練圖像進(jìn)行擴(kuò)充，將所述訓(xùn)練圖像進(jìn)行縮放、旋轉(zhuǎn)和隨機(jī)水平翻轉(zhuǎn)處理中至少一項(xiàng)操作，得到第一訓(xùn)練圖像；

第一預(yù)處理模塊，將擴(kuò)充后的訓(xùn)練圖像調(diào)整至分辨率得到第二訓(xùn)練圖像，并將所述第二訓(xùn)練圖像進(jìn)行歸一化處理，得到預(yù)處理后的訓(xùn)練圖像；

第二預(yù)處理模塊，對(duì)于每個(gè)所述訓(xùn)練圖像，獲取所述訓(xùn)練圖像的前幀圖像和后幀圖像，并在以上三張圖像中均確認(rèn)出一個(gè)同名點(diǎn)位，所述同名點(diǎn)位用于表征所述三張圖像中相同目標(biāo)的位置。