[發(fā)明專利]圖像深度預(yù)測和神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和裝置、介質(zhì)、設(shè)備

在審

• 申請?zhí)枺?/td>: 202110256840.4
• 申請日: 2021-03-09
• 公開（公告）號: CN112991418A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 高鵬
• 申請（專利權(quán)）人: 北京地平線信息技術(shù)有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06N3/04;G06N3/08
• 代理公司: 北京思源智匯知識產(chǎn)權(quán)代理有限公司 11657
• 代理人: 王曉多

本公開實(shí)施例公開了一種圖像深度預(yù)測和神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和裝置、介質(zhì)、設(shè)備，其中，圖像深度預(yù)測方法包括：基于神經(jīng)網(wǎng)絡(luò)中的深度分支網(wǎng)絡(luò)對待預(yù)測圖像中的每個像素點(diǎn)進(jìn)行深度預(yù)測，得到深度特征圖；基于所述神經(jīng)網(wǎng)絡(luò)中的置信度分支網(wǎng)絡(luò)對所述深度特征圖進(jìn)行置信度預(yù)測，得到置信度特征圖；基于所述置信度特征圖，從所述深度特征圖中確定所述待預(yù)測圖像的深度。本公開實(shí)施例以一個神經(jīng)網(wǎng)絡(luò)的兩個分支網(wǎng)絡(luò)確定深度值和置信度值，加快了深度值確定的效率，并且，基于置信度值確定圖像對應(yīng)的深度值，給出圖像中哪部分的像素的深度值更加有效，提升測距精度。

技術(shù)領(lǐng)域

本公開涉及圖像深度預(yù)測技術(shù)，尤其是一種圖像深度預(yù)測和神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和裝置、介質(zhì)、設(shè)備。

背景技術(shù)

圖像深度估計的方法主要分為單目深度估計的方法和雙目深度估計的方法，單目是基于一個鏡頭，而雙目是基于兩個鏡頭，基于它們有許多深度估計的方法。其中，單目是基于一幅圖像來估計它的深度信息，相對于雙目深度估計的方法，有一定的難度，有基于圖像內(nèi)容理解，基于聚焦，基于散焦，基于明暗變化等。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，提出了本公開。本公開的實(shí)施例提供了一種圖像深度預(yù)測和神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和裝置、介質(zhì)、設(shè)備。

根據(jù)本公開實(shí)施例的一個方面，提供了一種圖像深度預(yù)測方法，包括：

基于神經(jīng)網(wǎng)絡(luò)中的深度分支網(wǎng)絡(luò)對待預(yù)測圖像中的每個像素點(diǎn)進(jìn)行深度預(yù)測，得到深度特征圖；

基于所述神經(jīng)網(wǎng)絡(luò)中的置信度分支網(wǎng)絡(luò)對所述深度特征圖進(jìn)行置信度預(yù)測，得到置信度特征圖；

基于所述置信度特征圖，從所述深度特征圖中確定所述待預(yù)測圖像的深度。

根據(jù)本公開實(shí)施例的另一方面，提供了一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括：

確定訓(xùn)練圖像中部分像素點(diǎn)對應(yīng)的監(jiān)督深度值，得到監(jiān)督深度圖；

利用神經(jīng)網(wǎng)絡(luò)中的深度分支網(wǎng)絡(luò)對所述訓(xùn)練圖像進(jìn)行深度預(yù)測，得到所述訓(xùn)練圖像中每個像素點(diǎn)的預(yù)測深度值，得到預(yù)測深度圖；

基于所述預(yù)測深度圖和所述監(jiān)督深度圖，調(diào)整所述神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

根據(jù)本公開實(shí)施例的又一方面，提供了一種圖像深度預(yù)測裝置，包括：

深度圖確定模塊，用于基于神經(jīng)網(wǎng)絡(luò)中的深度分支網(wǎng)絡(luò)對待預(yù)測圖像中的每個像素點(diǎn)進(jìn)行深度預(yù)測，得到深度特征圖；

置信度預(yù)測模塊，用于基于所述神經(jīng)網(wǎng)絡(luò)中的置信度分支網(wǎng)絡(luò)對所述深度預(yù)測模塊確定的深度特征圖進(jìn)行置信度預(yù)測，得到置信度特征圖；

深度確定模塊，用于基于所述置信度預(yù)測模塊確定的置信度特征圖，從所述深度特征圖中確定所述待預(yù)測圖像的深度。

根據(jù)本公開實(shí)施例的還一方面，提供了一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練裝置，包括：

監(jiān)督深度確定模塊，用于確定訓(xùn)練圖像中部分像素點(diǎn)對應(yīng)的監(jiān)督深度值，得到監(jiān)督深度圖；

深度預(yù)測模塊，用于利用神經(jīng)網(wǎng)絡(luò)中的深度分支網(wǎng)絡(luò)對所述訓(xùn)練圖像進(jìn)行深度預(yù)測，得到所述訓(xùn)練圖像中每個像素點(diǎn)的預(yù)測深度值，得到預(yù)測深度圖；

網(wǎng)絡(luò)訓(xùn)練模塊，用于基于所述深度預(yù)測模塊確定的預(yù)測深度圖和所述監(jiān)督深度確定模塊確定的監(jiān)督深度圖，調(diào)整所述神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

根據(jù)本公開實(shí)施例的再一方面，提供了一種計算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序用于執(zhí)行上述任一實(shí)施例所述的圖像深度預(yù)測方法或上述任一實(shí)施例所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。

根據(jù)本公開實(shí)施例的又一方面，提供了一種電子設(shè)備，所述電子設(shè)備包括：

處理器；