[發明專利]一種深度估計方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110488366.8
• 申請日: 2021-04-29
• 公開（公告）號: CN113177976A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 曾印權;劉帥;徐本睿
• 申請（專利權）人: 深圳安智杰科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06K9/00;G06K9/32;G06N3/02
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本申請提供一種深度估計方法、裝置、電子設備及存儲介質，用于改善獲得的深度信息的精確度難以滿足駕駛要求的問題。該方法包括：獲取待推理圖像，待推理圖像是使用單目攝像頭采集的；使用神經網絡模型對待推理圖像進行推理，獲得待推理圖像中的預測目標框和預測目標框對應的估計深度信息，神經網絡模型是使用單目圖像進行訓練后獲得的，單目圖像是對雙目攝像頭采集的圖像進行單目化處理獲得的，預測目標框表征待推理圖像中的目標對象所在位置區域，估計深度信息為目標對象與單目攝像頭之間的距離。

技術領域

本申請涉及圖像處理和自動駕駛的技術領域，具體而言，涉及一種深度估計方法、裝置、電子設備及存儲介質。

背景技術

在輔助駕駛、自動駕駛或無人駕駛領域中，通常使用單目攝像頭采集汽車的正前方圖像，并對正前方圖像進行目標檢測，從而識別出目標對象在正前方圖像中的區域位置，再使用激光雷達和毫米波雷達等測距傳感器來測量目標對象與單目攝像頭之間的距離。由于該目標對象是該正前方圖像的深度方向(可以理解為與XY坐標垂直的Z坐標方向)上，因此，該目標對象與單目攝像頭之間的距離通常也被稱為目標對象的深度信息。

在具體的實踐過程中發現，在單目攝像頭相對于地面的高度、光軸與地面的夾角保持不變的情況下，使用上述的測距傳感器確定出的深度信息較為準確。然而，如果汽車始終在山路或者顛簸路面等環境運動過程中，就會出現剎車、啟動、加速、減速和上下坡等情況，這些情況導致使用上述的測距傳感器確定出的深度信息出現的誤差迅速變大，獲得的深度信息的精確度難以滿足駕駛要求。

發明內容

本申請實施例的目的在于提供一種深度估計方法、裝置、電子設備及存儲介質，用于改善獲得的深度信息的精確度難以滿足駕駛要求的問題。

本申請實施例提供了一種深度估計方法，包括：獲取待推理圖像，待推理圖像是使用單目攝像頭采集的；使用神經網絡模型對待推理圖像進行推理，獲得待推理圖像中的預測目標框和預測目標框對應的估計深度信息，神經網絡模型是使用單目圖像進行訓練后獲得的，單目圖像是對雙目攝像頭采集的圖像進行單目化處理獲得的，預測目標框表征待推理圖像中的目標對象所在位置區域，估計深度信息為目標對象與單目攝像頭之間的距離。在上述的實現過程中，通過使用神經網絡模型對單目攝像頭采集的待推理圖像進行推理，由于該神經網絡模型是使用精度更高的雙目圖像單目化處理的圖像訓練的，且在單目化處理過程中篩選出表征真實距離的像素點，使得訓練出的神經網絡模型的正確率更高。該深度估計方法不依賴于外部的測距傳感器等，減少了測距傳感器和單目攝像頭在時間上不同步或在空間上沒對齊導致的誤差，從而提高了估計深度信息的精確度。

可選地，在本申請實施例中，在使用神經網絡模型對待推理圖像進行推理之前，還包括：獲取第一圖像和第二圖像，第一圖像和第二圖像是雙目攝像頭針對目標對象采集的不同圖像，雙目攝像頭的光圈中心點之間的距離等于預先計算出的基線值；對第一圖像和第二圖像進行單目化處理，獲得多個單目圖像，以及單目圖像對應的目標框和深度信息；以多個單目圖像為訓練數據，以多個單目圖像對應的目標框和深度信息為訓練標簽，對神經網絡進行訓練，獲得神經網絡模型。在上述的實現過程中，由于采集時的訓練數據是使用雙目攝像頭來采集的，因此，在同樣的時間內，能夠獲得相對于獲取單目數據兩倍的數據量，并對第一圖像和第二圖像進行單目化處理，從而獲得更多的訓練數據，然后使用更多的訓練數據對神經網絡進行訓練，使得獲得的神經網絡模型在推理時的準確率更高。

可選地，在本申請實施例中，對第一圖像和第二圖像進行單目化處理，包括：在第一圖像上標注出目標對象的第一目標框，并在第二圖像上標注出目標對象的第二目標框，目標框表征目標對象在圖像中的位置區域；根據第一目標框和第二目標框計算目標對象的深度信息。在上述的實現過程中，通過使用基線值的雙目攝像頭來獲取目標對象的第一圖像和第二圖像，該基線值是事先計算出的最佳基線值，在雙目攝像頭光圈中心點之間的距離設置為最佳基線值的情況下，該雙目攝像頭能夠采集到更多表示真實距離的像素點，從而獲得精度更高的圖像。