[發明專利]一種基于語義分割的點云強度補全方法及系統

有效

• 申請號: 202011060052.X
• 申請日: 2020-09-30
• 公開（公告）號: CN112184589B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 李駿;張新鈺;李志偉;鄒鎮洪;趙文慧
• 申請（專利權）人: 清華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T3/40;G06T7/11;G06T7/13
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;李彪

本發明公開了一種基于語義分割的點云強度補全方法及系統，該方法包括：由相機和激光雷達同步采集路面的RGB圖像和點云數據；利用轉換矩陣對點云數據進行空間變換，生成二維反射強度投影圖和二維深度投影圖；對RGB圖像和二維反射強度投影圖經反射強度補全得到單通道反射強度投影圖；對RGB圖像和二維深度投影圖經深度補全得到單通道深度投影圖；對RGB圖像、單通道反射強度投影圖和單通道深度投影圖經粗粒度補全處理，得到二維粗粒度反射強度投影圖；對RGB圖像和二維深度投影圖經語義分割處理，得到若干個待補全區域；根據待補全區域對二維粗粒度反射強度投影圖進行細粒度反射強度補全得到二維反射強度投影補全圖。

技術領域

本發明屬于無人駕駛領域，尤其涉及一種基于語義分割的點云強度補全方法及系統。

背景技術

激光雷達是無人駕駛數據采集的主要工具，在無人車車項的激光雷達，一般有16/32/64/128線激光雷達，激光雷達的成本隨著線數的增加而增加，但少線束的激光雷達收集到的點云較少，稀疏的點云難以用于高精度計算。

此外，在實際采集時，激光雷達返回光束的能量受到距離和傳播介質的影響。遠距離的物體無法返回光束或返回光束能量低于探測閾值；此外受到大氣中微觀粒子的影響，雨雪霧等氣象條件會造成激光雷達發射的光束能量損耗，造成物體無法返回光束或返回光束能量低于探測閾值。這兩種情況最終會導致接收器無法接收信號、接收信號被削弱或摻雜噪聲。

當前的點云補全工作主要有如下局限：(1)局限于局部對象的點云補全，特別是室內場景或者單個物體的補全；(2)局限于局部依賴的補全，即基于相鄰區域進行插值，缺乏對更大范圍的具有相同語義的區域的參考；(3)在大型整體場景的補全工作中，注重的是深度補全工作，而針對反射強度補全工作研究較少。但是在反射強度值中，可以折射出物體之間的不同物理屬性，例如車身和車輪，道路和樹干。其次，補全的反射強度值可以為下游任務語義分割或者實例分割提供更多的有效信息，提高下游任務的精度。

在介紹本發明實施例之前首先對本發明實施例中涉及到的相關名詞作如下釋義：

點云：是指通過激光雷達d等測量儀器得到的關于物體外觀表面的點數據，每個點數據包含x、y、z坐標，深度以及反射強度信息。

RGB圖像：是指通過單目相機采集得到的彩色圖像，為三通道圖像。

二維點云反射強度投影圖：是指將激光雷達采集的點云投影到灰度圖像所在平面上獲得的二維投影圖，是單通道圖像，其數值為點云中對應點的反射強度值。

二維點云深度投影圖：是指將激光雷達采集的點云投影到灰度圖像所在平面上獲得的二維投影圖，是單通道圖像，其數值為點云中對應點的深度值。

標簽：表示用于語義分割神經網絡監督訓練的類別標簽，對每個像素點的類別進行了標注。

發明內容

本發明的目的在于克服現有技術缺陷，提出了一種基于語義分割的點云強度補全方法及系統。

為了實現上述目的，本發明提出了一種基于語義分割的點云強度補全方法，所述方法包括：

步驟1)由相機采集路面的RGB圖像，由激光雷達同步采集該路面的點云數據；

步驟2)利用激光雷達坐標系與相機成像坐標系的轉換矩陣對點云數據進行空間變換，生成二維反射強度投影圖和二維深度投影圖；

步驟3)對RGB圖像和二維反射強度投影圖經特征拼接和反射強度補全處理，得到單通道反射強度投影圖；對RGB圖像和二維深度投影圖經特征拼接和深度補全處理，得到單通道深度投影圖；對RGB圖像、單通道反射強度投影圖和單通道深度投影圖經特征拼接及粗粒度補全處理，得到二維粗粒度反射強度投影圖；

步驟4)對RGB圖像和二維深度投影圖經特征拼接和語義分割處理，得到若干個待補全區域；