[發明專利]一種透明物體單視圖多尺度深度估計方法和系統

有效

• 申請號: 202110528885.2
• 申請日: 2021-05-14
• 公開（公告）號: CN113139999B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 許汝聰;王濤;吳勇
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/13;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 陳嘉雯

1.一種透明物體單視圖多尺度深度估計方法，其特征在于，包括：

獲取雙目攝像機捕獲的缺失深度的透明物體的原左視圖和原右視圖，并提取原左視圖和原右視圖的透明物體的邊界輪廓，具體包括：

獲取雙目攝像機捕獲的透明物體的原左視圖和原右視圖；

將原左視圖和原右視圖送入邊界預測網絡，得到原左視圖和原右視圖的透明物體的邊界輪廓；

所述將原左視圖和原右視圖送入邊界預測網絡，得到原左視圖和原右視圖的透明物體的邊界輪廓的步驟，包括：

將原左視圖和原右視圖輸入邊界預測網絡，邊界預測網絡對原左視圖和原右視圖分別依次進行三次采樣，將每一次采樣的結果分別進行四次不同的卷積和一次池化，將五次的結果進行堆疊，將得到的堆疊結果和前兩次采樣的結果送入解碼器進行邊界特征預測，得到原左視圖和原右視圖的透明物體的邊界輪廓；

將左視圖和右視圖的透明物體的邊界輪廓分別合成到原左視圖和原右視圖中，得到帶有邊界信息的左視圖和右視圖；

將帶有邊界信息的左視圖或帶有邊界信息的右視圖送入深度預測網絡，得到左視差圖和右視差圖；

根據帶有邊界信息的左視圖和右視圖以及左視差圖和右視差圖建立深度預測網絡的損失函數，對深度預測網絡進行訓練，使左視差圖和右視差圖的視差絕對值趨向于零；

將一張場景中帶有透明物體的RGB圖片送入去掉由深度圖生成左視差圖和右視差圖部分架構的訓練好的深度預測網絡，得到RGB圖片對應的透明物體的粗尺度深度圖；

根據原左視圖和原右視圖的透明物體的邊界輪廓，在透明物體形狀模板庫中進行形狀匹配，根據形狀匹配結果對粗尺度深度圖進行深度補全；

所述透明物體形狀模板庫，是基于記錄所述透明物體的各個位姿中各點的位置信息建立的姿態模板集合；

將原左視圖和深度補全后的粗尺度深度圖送入中尺度深度信息提取網絡，得到中尺度深度圖；

根據形狀匹配結果對中尺度深度圖進行深度補全；

將原左視圖和深度補全后的中尺度深度圖送入細尺度深度信息提取網絡，得到細尺度深度圖，其中，細尺度深度信息提取網絡的卷積核大小大于中尺度深度信息提取網絡的卷積核大??；

所述深度補全包括：

根據所述透明物體形狀模板庫中匹配對應位姿的所述透明物體外輪廓中各點相對于邊緣的位置信息進行相對深度的計算，得到所述透明物體各點所對應的真實深度信息；

去除原圖像中所述透明物體所在區域的所有深度信息，重新填入所述真實深度信息。

2.根據權利要求1所述的透明物體單視圖多尺度深度估計方法，其特征在于，中尺度深度信息提取網絡的卷積核大小為5×5，細尺度深度信息提取網絡的卷積核大小為7×7。

3.根據權利要求1所述的透明物體單視圖多尺度深度估計方法，其特征在于，解碼器為BAM-Decoder。

4.根據權利要求1所述的透明物體單視圖多尺度深度估計方法，其特征在于，深度預測網絡的損失函數為：

其中，為代表重建圖像與輸入左視圖的外觀匹配損失的損失函數，為代表重建圖像與輸入右視圖的外觀匹配損失的損失函數，為采用左視圖計算得到的為了使重建圖像在邊緣處更為平滑的損失函數，為采用右視圖計算得到的為了使右重建圖像在邊緣處更為平滑的損失函數，為采用左視圖計算得到的根據重建圖像計算使視差重建網絡得到的左右視差趨近一致性的損失函數，為采用右視圖計算得到的根據重建圖像計算使視差重建網絡得到的左右視差趨近一致性的損失函數，a_ap,a_ds,a_lr分別為三個權重。