[發(fā)明專利]目標(biāo)的深度信息預(yù)測方法和裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111363919.3
• 申請日: 2021-11-17
• 公開（公告）號: CN114066958A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計）人: 羅壯;張雪;李成軍;張海強(qiáng)
• 申請（專利權(quán)）人: 智道網(wǎng)聯(lián)科技（北京）有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝;何健

1.一種目標(biāo)的深度信息預(yù)測方法，其中，所述方法包括：

獲取目標(biāo)的待預(yù)測圖像；

利用單目深度信息估計模型對所述待預(yù)測圖像進(jìn)行處理，得到所述待預(yù)測圖像對應(yīng)的深度圖；

利用單目目標(biāo)檢測模型對所述待預(yù)測圖像進(jìn)行處理，得到所述目標(biāo)的中心點(diǎn)位置信息和對應(yīng)的第一深度信息；

根據(jù)所述目標(biāo)的中心點(diǎn)位置信息和所述待預(yù)測圖像對應(yīng)的深度圖，確定所述目標(biāo)在所述深度圖中對應(yīng)的第二深度信息；

利用深度信息融合模型對所述第一深度信息和所述第二深度信息進(jìn)行融合處理，得到所述目標(biāo)的最終深度信息。

2.如權(quán)利要求1所述方法，其中，所述單目深度信息估計模型通過如下方式訓(xùn)練得到：

獲取原始的訓(xùn)練圖像和所述原始的訓(xùn)練圖像對應(yīng)的標(biāo)簽深度圖；

按照預(yù)設(shè)縮小比例，對所述原始的訓(xùn)練圖像和對應(yīng)的標(biāo)簽深度圖的尺寸進(jìn)行調(diào)整，得到調(diào)整后的訓(xùn)練圖像和對應(yīng)的標(biāo)簽深度圖；

利用所述調(diào)整后的訓(xùn)練圖像和對應(yīng)的標(biāo)簽深度圖對所述單目深度信息估計模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的單目深度信息估計模型。

3.如權(quán)利要求2所述方法，其中，所述深度信息融合模型通過如下方式訓(xùn)練得到：

利用所述訓(xùn)練后的單目深度信息估計模型對所述調(diào)整后的訓(xùn)練圖像進(jìn)行處理，得到所述調(diào)整后的訓(xùn)練圖像對應(yīng)的深度圖；

利用所述單目目標(biāo)檢測模型對所述原始的訓(xùn)練圖像進(jìn)行處理，得到所述原始的訓(xùn)練圖像中的目標(biāo)的中心點(diǎn)位置信息和對應(yīng)的第三深度信息；

根據(jù)所述原始的訓(xùn)練圖像中的目標(biāo)的中心點(diǎn)位置信息和所述調(diào)整后的訓(xùn)練圖像對應(yīng)的深度圖，確定所述原始的訓(xùn)練圖像中的目標(biāo)的中心點(diǎn)位置信息在所述調(diào)整后的訓(xùn)練圖像對應(yīng)的深度圖中的第四深度信息；

根據(jù)所述第三深度信息和所述第四深度信息，以及所述目標(biāo)的標(biāo)簽深度信息對所述深度信息融合模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的深度信息融合模型。

4.如權(quán)利要求3所述方法，其中，所述利用所述單目目標(biāo)檢測模型對所述原始的訓(xùn)練圖像進(jìn)行處理，得到所述原始的訓(xùn)練圖像中的目標(biāo)的中心點(diǎn)位置信息和對應(yīng)的第三深度信息包括：

利用所述單目目標(biāo)檢測模型對所述原始的訓(xùn)練圖像進(jìn)行處理，得到目標(biāo)的預(yù)測框；

確定所述目標(biāo)的預(yù)測框與目標(biāo)的標(biāo)簽框的交并比；

在所述交并比大于預(yù)設(shè)閾值的情況下，獲取所述目標(biāo)的預(yù)測框?qū)?yīng)的目標(biāo)的中心點(diǎn)位置信息和第三深度信息。

5.如權(quán)利要求1所述方法，其中，所述利用單目深度信息估計模型對所述待預(yù)測圖像進(jìn)行處理，得到所述待預(yù)測圖像對應(yīng)的深度圖包括：

按照預(yù)設(shè)縮小比例，對所述待預(yù)測圖像的尺寸進(jìn)行調(diào)整，得到調(diào)整后的待預(yù)測圖像；

利用單目深度信息估計模型對所述調(diào)整后的待預(yù)測圖像進(jìn)行處理，得到所述調(diào)整后的待預(yù)測圖像對應(yīng)的深度圖。

6.如權(quán)利要求5所述方法，其中，所述目標(biāo)的中心點(diǎn)位置信息包括目標(biāo)的中心點(diǎn)位置坐標(biāo)，所述根據(jù)所述目標(biāo)的中心點(diǎn)位置信息和所述待預(yù)測圖像對應(yīng)的深度圖，確定所述目標(biāo)在所述深度圖中對應(yīng)的第二深度信息包括：

根據(jù)所述預(yù)設(shè)縮小比例和所述目標(biāo)的中心點(diǎn)位置坐標(biāo)，確定調(diào)整后的中心點(diǎn)位置坐標(biāo)；

在所述待預(yù)測圖像對應(yīng)的深度圖中確定所述調(diào)整后的中心點(diǎn)位置坐標(biāo)對應(yīng)的第二深度信息。

7.如權(quán)利要求1所述方法，其中，所述深度信息融合模型由兩層全連接層網(wǎng)絡(luò)構(gòu)成，所述利用深度信息融合模型對所述第一深度信息和所述第二深度信息進(jìn)行融合處理，得到所述目標(biāo)的最終深度信息包括：

根據(jù)所述深度信息融合模型中各個全連接層的各個通道對應(yīng)的各個參數(shù)，以及所述第一深度信息和所述第二深度信息，確定所述目標(biāo)的最終深度信息。