[發(fā)明專利]一種基于圖像和點(diǎn)云融合的火星表面三維地形檢測方法

有效

• 申請?zhí)枺?/td>: 202110565199.2
• 申請日: 2021-05-24
• 公開（公告）號: CN113298781B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 高浩;黃衛(wèi);胡海東
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06T7/80;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 董建林

1.一種基于圖像和點(diǎn)云融合的火星表面三維地形檢測方法，其特征在于，包括以下步驟：

獲取火星表面待檢測區(qū)域的圖像數(shù)據(jù)；

將待檢測區(qū)域的圖像數(shù)據(jù)作為已訓(xùn)練好的三維目標(biāo)檢測網(wǎng)絡(luò)的輸入；

根據(jù)三維目標(biāo)檢測網(wǎng)絡(luò)的輸出，確定火星表面待檢測區(qū)域的地形檢測結(jié)果；

將地形檢測結(jié)果進(jìn)行可視化輸出；

其中，所述火星表面待檢測區(qū)域的圖像數(shù)據(jù)通過小車機(jī)器人帶動已標(biāo)定的相機(jī)組在火星表面移動獲取，所述相機(jī)組的標(biāo)定包括利用標(biāo)定板對深度相機(jī)進(jìn)行標(biāo)定并獲取相機(jī)內(nèi)參和相機(jī)外參；

所述相機(jī)組包括彩色相機(jī)和深度相機(jī)，所述圖像數(shù)據(jù)包括RGB彩色圖像和深度圖像；

其中，所述三維目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練包括：

獲取火星模擬場地的圖像數(shù)據(jù)，即RGB彩色圖像和深度圖像；

將火星模擬場地的深度圖像轉(zhuǎn)換成三維點(diǎn)云，并對三維點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理操作；

對火星模擬場地的RGB彩色圖像進(jìn)行標(biāo)注得到彩色圖像數(shù)據(jù)集，對預(yù)處理后的三維點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)注得到三維點(diǎn)云數(shù)據(jù)集；

將彩色圖形數(shù)據(jù)集作為二維目標(biāo)檢測網(wǎng)絡(luò)的輸入，對火星模擬場地進(jìn)行檢測并輸出二維檢測結(jié)果；

將二維檢測結(jié)果和三維點(diǎn)云數(shù)據(jù)集作為輸入，提取三維點(diǎn)云中目標(biāo)區(qū)域的錐形點(diǎn)云；

將錐形點(diǎn)云作為三維目標(biāo)檢測網(wǎng)絡(luò)的輸入，對火星模擬場地進(jìn)行檢測并輸出三維檢測結(jié)果；

基于三維檢測結(jié)果對三維目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練；

其中，所述火星模擬場地表面的圖像數(shù)據(jù)通過小車機(jī)器人帶動已標(biāo)定的相機(jī)組在火星模擬場地移動獲取；

其中，所述將錐形點(diǎn)云作為三維目標(biāo)檢測網(wǎng)絡(luò)的輸入，對火星模擬場地進(jìn)行檢測并輸出三維檢測結(jié)果包括：

采用改進(jìn)的PointSIFT網(wǎng)絡(luò)對錐形點(diǎn)云進(jìn)行特征提取，從而進(jìn)行三維語義分割；

使用T-Net子網(wǎng)絡(luò)對分割得到的對象點(diǎn)云進(jìn)行特征提取和預(yù)測，從而得到目標(biāo)區(qū)域地形的空間位置；

使用盒回歸子網(wǎng)絡(luò)對分割得到的對象點(diǎn)云進(jìn)行網(wǎng)絡(luò)分類和回歸，從而得到目標(biāo)區(qū)域地形的三維邊界包圍盒；

將空間位置和三維邊界包圍盒作為三維檢測結(jié)果輸出；

其中，所述改進(jìn)的PointSIFT網(wǎng)絡(luò)包括依次連接的第一PointSIFT模塊、第一SA模塊、第二PointSIFT模塊、第二SA模塊、第一FP模塊、第三PointSIFT模塊、第二FP模塊、第四PointSIFT模塊以及全連接層；

所述第一PointSIFT模塊、第二PointSIFT模塊、第三PointSIFT模塊以及第四PointSIFT模塊均包括方向編碼單元和尺度感知單元，所述方向編碼單元和尺度感知單元用于在不同方向、不同尺度上提取特征；

所述第一SA模塊、第二SA模塊用于降采樣，所述第一FP模塊、第二FP模塊用于上采樣；所述全連接層用于接收處理后的特征信息。

2.根據(jù)權(quán)利要求1所述的一種基于圖像和點(diǎn)云融合的火星表面三維地形檢測方法，其特征在于，所述圖像數(shù)據(jù)的獲取包括：

調(diào)整相機(jī)組的采集角度和光照環(huán)境；按預(yù)設(shè)的參數(shù)和路線使用ros系統(tǒng)控制小車機(jī)器人移動，相機(jī)組錄制地形環(huán)境得到bag文件并傳輸保存，按照時(shí)間戳解析bag文件得到每一幀的RGB彩色圖像和深度圖像。

3.根據(jù)權(quán)利要求1所述的一種基于圖像和點(diǎn)云融合的火星表面三維地形檢測方法，其特征在于，所述深度圖像轉(zhuǎn)換成三維點(diǎn)云包括：

將相機(jī)內(nèi)參作為坐標(biāo)變換的約束調(diào)節(jié)將深度圖像轉(zhuǎn)換成三維點(diǎn)云，其公式如下：

其中，x，y，z是三維點(diǎn)云坐標(biāo)，x′和y′是深度圖像坐標(biāo)，f_x和f_y為相機(jī)內(nèi)參中的焦距，D為深度圖像的深度值。

4.根據(jù)權(quán)利要求3所述的一種基于圖像和點(diǎn)云融合的火星表面三維地形檢測方法，其特征在于，所述三維點(diǎn)云坐標(biāo)以pcd點(diǎn)云格式和二級制bin文件方式保存。