[發明專利]獲得稠密深度圖的方法及相關裝置

有效

• 申請號: 202010680885.X
• 申請日: 2020-07-15
• 公開（公告）號: CN111563923B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 劉逸穎;王曉魯;任宇鵬;盧維
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T5/50;G06T7/80;G06N3/08;G06N3/04
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

本申請公開了一種獲得稠密深度圖的方法及相關裝置，該方法包括：獲得同一時刻下位置相對固定的單目相機與激光雷達分別采集的對應于同一場景信息的二維圖像和三維點云；將所述二維圖像和所述三維點云映射至同一個坐標系中，所述三維點云映射為所述二維圖像對應的稀疏深度圖；將所述二維圖像和對應的所述稀疏深度圖輸入至訓練后的卷積神經網絡模型中，以獲得對應的稠密深度圖。通過上述方式，本申請能夠通過卷積神經網絡模型有效提取單目相機捕獲的二維圖像的特征信息，并與激光雷達所采集的三維點云信息進行融合，從而獲得高精度的稠密深度圖。

技術領域

本申請涉及計算機視覺技術領域，特別是涉及一種獲得稠密深度圖的方法及相關裝置。

背景技術

深度感知是場景理解的基礎。常見的獲取場景深度信息的方法包括雙目立體視覺、結構光、激光雷達測距、單目深度估計等。其中，激光雷達提供了最可靠和最準確的深度感知，并已廣泛集成到許多機器人和自動駕駛車輛。激光雷達是以激光為光源進行測距的傳感器，它通過向周圍發射激光，根據發射到接收的時間間隔確定物體的距離，并根據距離及激光束的角度，計算出物體的位置。

然而，目前的激光雷達只能獲得稀疏的深度數據，這對于機器人導航等實際應用是不夠的。因為密集的深度感知對于視覺任務來說至關重要，對被觀測物體進行準確的稠密深度感知是解決障礙物躲避、目標檢測或識別以及三維場景重建等任務的前提。

因此，目前研究的熱點問題包括：如何將激光雷達與其他傳感器采集的信息進行融合，以獲得更好的場景感知能力。

發明內容

本申請主要解決的技術問題是提供一種獲得稠密深度圖的方法及相關裝置，能夠通過卷積神經網絡模型有效提取單目相機捕獲的二維圖像的特征信息，并與激光雷達所采集的三維點云信息進行融合，從而獲得高精度的稠密深度圖。

為了解決上述問題，本申請第一方面提供了一種獲得稠密深度圖的方法，包括：獲得同一時刻下位置相對固定的單目相機與激光雷達分別采集的對應于同一場景信息的二維圖像和三維點云；將所述二維圖像和所述三維點云映射至同一個坐標系中，所述三維點云映射為所述二維圖像對應的稀疏深度圖；將所述二維圖像和對應的所述稀疏深度圖輸入至訓練后的卷積神經網絡模型中，以獲得對應的稠密深度圖。

為了解決上述問題，本申請第二方面提供了一種獲得稠密深度圖的系統，包括相互耦接的存儲器和處理器、位置相對固定的單目相機和激光雷達，其中，所述單目相機和所述激光雷達用于分別采集對應于同一場景信息的同一時刻下的二維圖像和三維點云，并將其發送至所述處理器；所述存儲器內存儲有程序指令，所述處理器用于接收所述二維圖像和所述三維點云，并執行所述程序指令以實現上述任一實施例中所述的獲得稠密深度圖的方法。

為了解決上述問題，本申請第三方面提供了一種存儲裝置，存儲有能夠被處理器運行的程序指令，所述程序指令用于執行上述任一實施例所述的獲得稠密深度圖的方法。

區別于現有技術情況，激光雷達保證了深度感知的高精度性，單目相機保證了捕捉的場景信息的完整性和豐富性，而本申請所提供的獲得稠密度深度圖的方法中將單目相機和激光雷達采集的信息利用卷積神經網絡模型進行融合，以獲得高精度且稠密的場景深度信息，為后續的三維重建、自動駕駛、智能機器人等更高級的視覺任務提供更加可靠的支持。且由于本申請中的深度感知并不依賴于單目相機自身距地面的高度、俯仰角等信息，因此具有比較強的靈活性，只要單目相機和激光雷達有穩定的相對位置，則可以任意的將設備進行移動而不需要重新進行外參標定。

此外，本申請中單目相機對應的二維圖像和激光雷達對應的稀疏深度圖分別輸入不同的卷積層模塊，然后再利用CSPN模塊進行融合，這種方式能夠更有效的將兩者進行關聯，網絡更加穩定且容易收斂。

附圖說明