[發(fā)明專利]一種基于語義分割的點云強度補全方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011060052.X
• 申請日: 2020-09-30
• 公開（公告）號: CN112184589B
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計）人: 李駿;張新鈺;李志偉;鄒鎮(zhèn)洪;趙文慧
• 申請（專利權(quán)）人: 清華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T3/40;G06T7/11;G06T7/13
• 代理公司: 北京方安思達知識產(chǎn)權(quán)代理有限公司 11472
• 代理人: 陳琳琳;李彪

1.一種基于語義分割的點云強度補全方法，所述方法包括：

步驟1)由相機采集路面的RGB圖像，由激光雷達同步采集該路面的點云數(shù)據(jù)；

步驟2)利用激光雷達坐標系與相機成像坐標系的轉(zhuǎn)換矩陣對點云數(shù)據(jù)進行空間變換，生成二維反射強度投影圖和二維深度投影圖；

步驟3)對RGB圖像和二維反射強度投影圖經(jīng)特征拼接和反射強度補全處理，得到單通道反射強度投影圖；對RGB圖像和二維深度投影圖經(jīng)特征拼接和深度補全處理，得到單通道深度投影圖；對RGB圖像、單通道反射強度投影圖和單通道深度投影圖經(jīng)粗粒度補全處理，得到二維粗粒度反射強度投影圖；

步驟4)對RGB圖像和二維深度投影圖經(jīng)特征拼接和語義分割處理，得到若干個待補全區(qū)域；

步驟5)根據(jù)待補全區(qū)域?qū)ΧS粗粒度反射強度投影圖進行細粒度反射強度補全處理，得到二維反射強度投影補全圖。

2.根據(jù)權(quán)利要求1所述的基于語義分割的點云強度補全方法，其特征在于，所述步驟2)具體包括：

利用激光雷達坐標系與相機成像坐標系的轉(zhuǎn)換矩陣將點云數(shù)據(jù)投影到二維圖像平面上，像素值為反射強度值，從而得到二維反射強度投影圖；

利用激光雷達坐標系與相機成像坐標系的轉(zhuǎn)換矩陣將點云數(shù)據(jù)投影到二維灰度圖像的平面上，像素值為深度值，對空缺的部分以0值填補，從而得到二維深度投影圖；其中，第i點的深度值為：

其中，(x_i，y_i)為點云數(shù)據(jù)中第i點的坐標值。

3.根據(jù)權(quán)利要求1所述的基于語義分割的點云強度補全方法，其特征在于，所述步驟3)具體包括：

步驟301)對RGB圖像進行剪裁，得到尺寸為(352，1216，3)的RGB圖像；對二維反射強度投影圖進行剪裁，得到尺寸為(352，1216，1)的二維反射強度投影圖，將上述兩種剪裁后的圖像進行特征拼接，得到尺寸為(352，1216，4)的二維反射強度拼接圖像；

步驟302)將二維反射強度拼接圖像輸入預(yù)先建立和訓練好的粗粒度反射強度補全子模型，得到單通道反射強度投影圖；

步驟303)對RGB圖像進行剪裁，得到尺寸為(352，1216，3)的RGB圖像；對二維深度投影圖進行剪裁，得到尺寸為(352，1216，1)的二維深度投影圖；將上述兩種剪裁后的圖像進行特征拼接，得到尺寸為(352，1216，4)的二維深度拼接圖像；

步驟304)將二維深度拼接圖像輸入預(yù)先建立和訓練好的深度補全子模型，得到單通道深度投影圖；

步驟305)將RGB圖像、單通道反射強度投影圖和單通道深度投影圖進行粗粒度反射強度融合處理，得到二維粗粒度反射強度投影圖。

4.根據(jù)權(quán)利要求3所述的基于語義分割的點云強度補全方法，其特征在于，所述粗粒度反射強度補全子模型的輸入為尺寸為(352，1216，4)的拼接圖像，輸出為尺寸為(352，1216，1)的單通道反射強度投影圖，該模型為自監(jiān)督模型，包括均采用ResNet網(wǎng)絡(luò)結(jié)構(gòu)的編碼器和解碼器，激活函數(shù)為ReLU函數(shù)；關(guān)于反射強度的損失函數(shù)Loss_rc為：

其中：n為具有有效反射強度值的像素點數(shù)目，i為具有反射強度值的像素點，R_i為粗粒度反射強度補全子模型對i點的反射強度預(yù)測值；為i點的反射強度真值。