[發(fā)明專(zhuān)利]基于雙目散焦圖像的深度估計(jì)方法、裝置、介質(zhì)和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110290161.9
• 申請(qǐng)日: 2021-03-18
• 公開(kāi)（公告）號(hào): CN112950698A
• 公開(kāi)（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 袁潮;溫建偉;劉燁斌;周玥眉;趙月峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京拙河科技有限公司
• 主分類(lèi)號(hào): G06T7/593
• 分類(lèi)號(hào): G06T7/593;G06T7/564;G06T5/00;G06T7/80
• 代理公司: 北京名華博信知識(shí)產(chǎn)權(quán)代理有限公司 11453
• 代理人: 胡丹

1.基于雙目散焦圖像的深度估計(jì)方法，其特征在于，包括：

使用標(biāo)定后的雙目相機(jī)獲取同一場(chǎng)景的圖像對(duì)，所述圖像對(duì)中的圖像的對(duì)焦面不同；

對(duì)所述圖像對(duì)進(jìn)行去畸變處理和立體校正，以獲得極線對(duì)齊的校正后圖像對(duì)；

對(duì)所述校正后圖像對(duì)進(jìn)行雙目立體匹配，并輸出各個(gè)像素點(diǎn)的初始深度估值；

建立所述校正后圖像對(duì)的散焦掩膜圖像對(duì)，利用所述各個(gè)像素點(diǎn)的初始深度估值，對(duì)所述散焦掩膜圖像對(duì)進(jìn)行視點(diǎn)變換，將所述散焦掩膜圖像對(duì)變換為同一視點(diǎn)的兩個(gè)散焦掩膜圖像，基于同一視點(diǎn)的兩個(gè)散焦掩膜圖像獲得各個(gè)像素點(diǎn)的散焦深度估計(jì)；

利用所述散焦深度估計(jì)對(duì)所述初始深度估值進(jìn)行優(yōu)化，獲得各個(gè)像素點(diǎn)的優(yōu)化后的深度估計(jì)結(jié)果；

采集圖像的邊緣信息對(duì)所述優(yōu)化后的深度估計(jì)結(jié)果進(jìn)行細(xì)化，確定各個(gè)像素點(diǎn)的最終深度。

2.如權(quán)利要求1所述的基于雙目散焦圖像的深度估計(jì)方法，其特征在于，還包括：對(duì)雙目相機(jī)進(jìn)行標(biāo)定，確定所述雙目相機(jī)的內(nèi)參、外參、雙目基線距離。

3.如權(quán)利要求1所述的基于雙目散焦圖像的深度估計(jì)方法，其特征在于，所述對(duì)所述校正后圖像對(duì)進(jìn)行雙目立體匹配，并輸出各個(gè)像素點(diǎn)的初始深度估值包括：

在所述校正后圖像對(duì)中，將第一視點(diǎn)的校正后圖像中的各個(gè)像素點(diǎn)與第二視點(diǎn)的校正后圖像中的像素點(diǎn)進(jìn)行匹配；

根據(jù)匹配結(jié)果建立各個(gè)像素點(diǎn)的視差代價(jià)體；

利用三維卷積網(wǎng)絡(luò)提取所述視差代價(jià)體的信息,并用argmin(﹒)函數(shù)做監(jiān)督，確定所述第一視點(diǎn)的校正后圖像中各個(gè)像素點(diǎn)的初始深度估計(jì)值。

4.如權(quán)利要求3所述的基于雙目散焦圖像的深度估計(jì)方法，其特征在于，所述建立所述校正后圖像對(duì)的散焦掩膜圖像對(duì)，利用所述各個(gè)像素點(diǎn)的初始深度估值，對(duì)所述散焦掩膜圖像對(duì)進(jìn)行視點(diǎn)變換，將所述散焦掩膜圖像對(duì)變換為同一視點(diǎn)的兩個(gè)散焦掩膜圖像包括：

建立所述校正后圖像對(duì)的散焦掩膜圖像對(duì)，所述散焦掩膜圖像對(duì)包括第一視點(diǎn)的散焦掩膜圖像和第二視點(diǎn)的散焦掩膜圖像；

利用各個(gè)像素點(diǎn)的初始深度估值，確定所述第二視點(diǎn)的散焦掩膜圖像中各個(gè)像素點(diǎn)在所述第一視點(diǎn)的散焦掩膜圖像中的對(duì)應(yīng)的像素點(diǎn)，并確定各個(gè)像素點(diǎn)與對(duì)應(yīng)的像素點(diǎn)的位置差值；

根據(jù)所述位置差值，將第二視點(diǎn)的散焦掩膜圖像中各個(gè)像素點(diǎn)的位置進(jìn)行變換，以使變換后的散焦掩膜圖像中的各個(gè)像素點(diǎn)的位置與所述第一視點(diǎn)的散焦掩膜圖像中對(duì)應(yīng)的像素點(diǎn)的位置相同。

5.如權(quán)利要求4所述的基于雙目散焦圖像的深度估計(jì)方法，其特征在于，所述散焦掩膜圖像為單通道的灰度圖像，以灰度值表示各個(gè)像素點(diǎn)的散焦程度；所述基于同一視點(diǎn)的兩個(gè)散焦掩膜圖像獲得各個(gè)像素點(diǎn)的散焦深度估計(jì)包括：

獲取相同位置的各個(gè)像素點(diǎn)在兩個(gè)散焦掩膜圖像中的散焦程度，由預(yù)訓(xùn)練的散焦程度估計(jì)網(wǎng)絡(luò)完成各個(gè)像素點(diǎn)的散焦深度估計(jì)。

6.如權(quán)利要求1所述的基于雙目散焦圖像的深度估計(jì)方法，其特征在于，所述雙目相機(jī)選用焦距及口徑均大于預(yù)設(shè)閾值的相機(jī)鏡頭。

7.基于雙目散焦圖像的深度估計(jì)裝置，其特征在于，包括：

圖像獲取模塊，用于使用標(biāo)定后的雙目相機(jī)獲取同一場(chǎng)景的圖像對(duì)，所述圖像對(duì)中的圖像的對(duì)焦面不同；

圖像校正模塊，用于對(duì)所述圖像對(duì)進(jìn)行去畸變處理和立體校正，以獲得極線對(duì)齊的校正后圖像對(duì)；

立體匹配模塊，用于對(duì)所述校正后圖像對(duì)進(jìn)行雙目立體匹配；

初始深度估計(jì)模塊，用于輸出各個(gè)像素點(diǎn)的初始深度估值；

散焦深度估計(jì)模塊，用于建立所述校正后圖像對(duì)的散焦掩膜圖像對(duì)，利用所述各個(gè)像素點(diǎn)的初始深度估值，對(duì)所述散焦掩膜圖像對(duì)進(jìn)行視點(diǎn)變換，將所述散焦掩膜圖像對(duì)變換為同一視點(diǎn)的兩個(gè)散焦掩膜圖像，基于同一視點(diǎn)的兩個(gè)散焦掩膜圖像獲得各個(gè)像素點(diǎn)的散焦深度估計(jì)；

深度優(yōu)化模塊，用于利用所述散焦深度估計(jì)對(duì)所述初始深度估值進(jìn)行優(yōu)化，獲得各個(gè)像素點(diǎn)的優(yōu)化后的深度估計(jì)結(jié)果；

深度確定模塊，用于采集圖像的邊緣信息對(duì)所述優(yōu)化后的深度估計(jì)結(jié)果進(jìn)行細(xì)化，確定各個(gè)像素的最終深度。