[發明專利]一種基于圖像和點云融合的火星表面三維地形檢測方法

有效

• 申請號: 202110565199.2
• 申請日: 2021-05-24
• 公開（公告）號: CN113298781B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 高浩;黃衛;胡海東
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06T7/80;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了一種基于圖像和點云融合的火星表面三維地形檢測方法，包括：獲取火星表面待檢測區域的圖像數據；將待檢測區域的圖像數據作為已訓練好的三維目標檢測網絡的輸入；根據三維目標檢測網絡的輸出，確定火星表面待檢測區域的地形檢測結果；將地形檢測結果進行可視化輸出；本發明通過深度學習的方法將圖像和點云信息融合并利用起來，有效解決了火星表面目標地形三維空間檢測的問題。

技術領域

本發明涉及一種基于圖像和點云融合的火星表面三維地形檢測方法，屬于火星智能視覺三維目標檢測識別技術領域。

背景技術

掌握火星的地貌地形是進行火星科學研究的基礎之一，檢測出火星地表物質組成與分布是掌握其地貌地形的重中之重。僅查看巖石的分布和物理性質，科學家就可以獲得大量信息。所以，這就要求在火星車運動探測任務中，首先火星車需要對自身所處環境進行識別判斷，通過相機等傳感器獲取信息，檢測定位目標地形的空間信息和類別信息，然后才能繼續規劃路線確定行進的方向，使用探測器進行下一步的探測研究。

3D的目標檢測相比于2D的目標檢測有著明顯的優勢，要保證火星車安全行進，對特定目標地形進行進一步的勘測和研究，則需要該地形的三維位姿信息，而在圖片中的二維位姿不帶深度信息，傳統的2D目標檢測，是得到目標物體的類別，以及圖像平面內的檢測框，包含的參數有類別、檢測框的中心坐標、長寬，這3組參數構成對目標物體位置、大小等信息的描述。我們無法從2D圖片中獲得物體的絕對尺度和位置，沒有辦法有效避免碰撞，具有一定的安全隱患。因此，火星表面地形的3D目標檢測在火星車的探測研究、運動、路徑規劃等方面發揮著及其重要的作用，對于火星表面的目標探索有著重要的意義。

發明內容

本發明的目的在于克服現有技術中的不足，提供一種基于圖像和點云融合的火星表面三維地形檢測方法，基于點云和圖像的三維地形檢測的完整系統流程，其中包含相機標定、數據采集、數據預處理、數據標注、二維圖像地形檢測，與三維地形檢測、結果可視化，提高檢測的自動化程度和精確度。

為達到上述目的，本發明是采用下述技術方案實現的：

本發明提供了一種基于圖像和點云融合的火星表面三維地形檢測方法，包括以下步驟：

獲取火星表面待檢測區域的圖像數據；

將待檢測區域的圖像數據作為已訓練好的三維目標檢測網絡的輸入；

根據三維目標檢測網絡的輸出，確定火星表面待檢測區域的地形檢測結果；

將地形檢測結果進行可視化輸出；

其中，所述火星表面待檢測區域的圖像數據通過小車機器人帶動已標定的相機組在火星表面移動獲取，所述相機組的標定包括利用標定板對深度相機進行標定并獲取相機內參和相機外參；

所述相機組包括彩色相機和深度相機，所述圖像數據包括RGB彩色圖像和深度圖像。

進一步的，所述三維目標檢測網絡的訓練包括：

獲取火星模擬場地的圖像數據，即RGB彩色圖像和深度圖像；

將火星模擬場地的深度圖像轉換成三維點云，并對三維點云數據進行預處理操作；

對火星模擬場地的RGB彩色圖像進行標注得到彩色圖像數據集，對預處理后的三維點云數據進行標注得到三維點云數據集；

將彩色圖形數據集作為二維目標檢測網絡的輸入，對火星模擬場地進行檢測并輸出二維檢測結果；

將二維檢測結果和三維點云數據集作為輸入，提取三維點云中目標區域的錐形點云；

將錐形點云作為三維目標檢測網絡的輸入，對火星模擬場地進行檢測并輸出三維檢測結果；

基于三維檢測結果對三維目標檢測網絡進行迭代訓練。