[發明專利]一種融合語義信息的激光雷達目標檢測方法及系統

在審

• 申請號: 202110317542.1
• 申請日: 2021-03-25
• 公開（公告）號: CN113128348A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 李燕;陳超;齊飛;王曉甜;石光明
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T7/10
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 吳瑩

1.一種融合語義信息的激光雷達目標檢測方法，其中，所述方法包括：

對每一時間戳下的圖像幀進行語義分割處理，獲得語義分割分數；

在每一幀點云數據中添加相應攝像機坐標下的圖像RGB特征；

將添加所述圖像RGB特征的所述點云數據投影到分割網絡的輸出中，并將所述語義分割分數附加到所述點云數據中；

對附加所述語義分割分數和所述圖像RGB特征的所述點云數據進行基于圖卷積的目標分類與3D框回歸，獲得目標位置框和目標類別。

2.如權利要求1所述的方法，其中，所述對每一時間戳下的圖像幀進行語義分割處理，獲得語義分割分數，包括；

將ResNet101作為主網絡，通過編碼器對所述每一時間戳下的圖像幀進行下采樣特征提?。?/p>

對所述每一時間戳下的圖像幀通過解碼器進行上采樣的恢復分辨率處理，獲得預測特征圖；

根據所述預測特征圖，獲得所述語義分割分數。

3.如權利要求1所述的方法，其中，所述在每一幀點云數據中添加相應攝像機坐標下的圖像RGB特征，所述方法包括：

對于每一幀點云數據，根據點云坐標系到相機坐標系的轉換矩陣，將空間點云位置轉換到照相機坐標系下的坐標點位置；

篩選各相機坐標點中Z軸坐標值大于0.1的點，獲得第一索引位置集合；

根據所述第一索引位置集合通過照相機坐標系到圖像坐標系的轉換矩陣，獲得到圖像坐標系下的坐標值；

加載所述點云數據對應的圖像幀，獲得每個坐標值下的RGB通道數據；

將所述RGB通道數據級聯至點云特征維度。

4.如權利要求3所述的方法，其中，所述將添加所述圖像RGB特征的所述點云數據投影到分割網絡的輸出中，并將所述語義分割分數附加到所述點云數據中，包括：

對所述每一時間戳下的圖像幀，索引所述分割網絡輸出的帶有所述語義分割分數的各點圖像坐標；

將對應類別疊加至相應幀中已經過投影到圖像坐標系的所述點云數據中。

5.如權利要求1所述的方法，其中，所述對附加所述語義分割分數和所述圖像RGB特征的所述點云數據進行基于圖卷積的目標分類與3D框回歸，獲得目標位置框和目標類別，包括：

對所述點云數據進行基于下采樣的圖構建；

構建圖神經網絡更新迭代每一個中心點的特征，通過相鄰點的狀態來改善中心點的狀態；

定位分支預測每個類別的邊界框，如果一個頂點在一個邊界框中，計算預測值與groundtruth的Huber損失；如果一個頂點不在所述邊界框中或者是非感興趣類，將其定位損失置為0。

6.如權利要求5所述的方法，其中，所述構建圖神經網絡更新迭代每一個中心點的特征，通過相鄰點的狀態來改善中心點的狀態，公式如下：

其中，定義一個含有N個點的點云圖為P＝{p₁，...，p_N}，其中p_i＝(x_i，s_i)，x_i∈R³表示原始點云的空間坐標(X，Y，Z)，s_i∈R^k代表原始點屬性狀態的k維向量，f^t(·)、g^t(·)和h^t(·)函數都采用多層感知機(MLP)進行建模，M代表目標類總數，x_j為j點的點云三維坐標，為t層的j點特征。