[發(fā)明專利]一種透明物體單視圖多尺度深度估計(jì)方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110528885.2
• 申請日: 2021-05-14
• 公開（公告）號: CN113139999B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 許汝聰;王濤;吳勇
• 申請（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/13;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 陳嘉雯

本發(fā)明公開了一種透明物體單視圖多尺度深度估計(jì)方法和系統(tǒng)，利用對缺失深度的透明物體圖像的邊界信息進(jìn)行預(yù)測，并將邊界信息合成到原圖像來增強(qiáng)透明物體的邊界特征，并將合成圖像送入深度估計(jì)網(wǎng)絡(luò)來預(yù)測左視圖與右視圖的視差，即可獲得透明物體的粗尺度深度信息，之后將粗尺度信息圖送入多尺度深度估計(jì)網(wǎng)絡(luò)，最終可得到透明物體的深度圖。解決了雙目攝像機(jī)捕獲透明物體圖像時(shí)存在的深度缺失問題，以及人工補(bǔ)全深度透明物體深度信息工作量大，效率低下和準(zhǔn)確率低的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)機(jī)器視覺技術(shù)領(lǐng)域，尤其涉及一種透明物體單視圖多尺度深度估計(jì)方法和系統(tǒng)。

背景技術(shù)

在計(jì)算機(jī)機(jī)器視覺中，對普通物體的深度估計(jì)需要獲取透明物體在場景中實(shí)際的深度，而現(xiàn)有的3D傳感器(Kinect或RealSense)只能捕獲透明物體的RGB信息，無法在透明物體表面捕獲可靠的深度數(shù)據(jù)。現(xiàn)有的透明物體深度采集方法先用深度相機(jī)對透明物體的RGB圖片進(jìn)行捕獲，之后保持相機(jī)的位置不變，將場景中的透明物體替換成和它形狀相同的不透明物體。這種方法需要大量的人工來對數(shù)據(jù)采集過程中的物體進(jìn)行替換，且一旦透明物體的對象的種類增加，還需制作相應(yīng)的不透明對象模型，工作量加大，效率低下，且準(zhǔn)確率較低。為解決以上問題，本發(fā)明提供了一種透明物體單視圖多尺度深度估計(jì)方法和系統(tǒng)，用于解決雙目攝像機(jī)捕獲透明物體圖像時(shí)存在的深度缺失問題，以及人工補(bǔ)全深度透明物體深度信息工作量大，效率低下和準(zhǔn)確率低的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明提供了一種透明物體單視圖多尺度深度估計(jì)方法和系統(tǒng)，用于解決雙目攝像機(jī)捕獲透明物體圖像時(shí)存在的深度缺失問題，以及人工補(bǔ)全深度透明物體深度信息工作量大，效率低下和準(zhǔn)確率低的技術(shù)問題。

有鑒于此，本發(fā)明第一方面提供了一種透明物體單視圖多尺度深度估計(jì)方法，包括：

獲取雙目攝像機(jī)捕獲的缺失深度的透明物體的原左視圖和原右視圖，并提取原左視圖和原右視圖的透明物體的邊界輪廓；

將左視圖和右視圖的透明物體的邊界輪廓分別合成到原左視圖和原右視圖中，得到帶有邊界信息的左視圖和右視圖；

將帶有邊界信息的左視圖或帶有邊界信息的右視圖送入深度預(yù)測網(wǎng)絡(luò)，得到左視差圖和右視差圖；

根據(jù)帶有邊界信息的左視圖和右視圖以及左視差圖和右視差圖建立深度預(yù)測網(wǎng)絡(luò)的損失函數(shù)，對深度預(yù)測網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

將一張場景中帶有透明物體的RGB圖片送入去掉由深度圖生成左視差圖和右視差圖部分架構(gòu)的訓(xùn)練好的深度預(yù)測網(wǎng)絡(luò)，得到RGB圖片對應(yīng)的透明物體的粗尺度深度圖；

根據(jù)原左視圖和原右視圖的透明物體的邊界輪廓，在透明物體形狀模板庫中進(jìn)行形狀匹配，根據(jù)形狀匹配結(jié)果對粗尺度深度圖進(jìn)行深度補(bǔ)全；

將原左視圖和深度補(bǔ)全后的粗尺度深度圖送入中尺度深度信息提取網(wǎng)絡(luò)，得到中尺度深度圖；

根據(jù)形狀匹配結(jié)果對中尺度深度圖進(jìn)行深度補(bǔ)全；

將原左視圖和深度補(bǔ)全后的中尺度深度圖送入細(xì)尺度深度信息提取網(wǎng)絡(luò)，得到細(xì)尺度深度圖，其中，細(xì)尺度深度信息提取網(wǎng)絡(luò)的卷積核大小大于中尺度深度信息提取網(wǎng)絡(luò)的卷積核大小。

可選地，中尺度深度信息提取網(wǎng)絡(luò)的卷積核大小為5×5，細(xì)尺度深度信息提取網(wǎng)絡(luò)的卷積核大小為7×7。

可選地，獲取雙目攝像機(jī)捕獲的透明物體的原左視圖和原右視圖，并提取原左視圖和原右視圖的透明物體的邊界輪廓，包括：

獲取雙目攝像機(jī)捕獲的透明物體的原左視圖和原右視圖；

將原左視圖和原右視圖送入邊界預(yù)測網(wǎng)絡(luò)，得到原左視圖和原右視圖的透明物體的邊界輪廓。

可選地，將原左視圖和原右視圖送入邊界預(yù)測網(wǎng)絡(luò)，得到原左視圖和原右視圖的透明物體的邊界輪廓，包括：