[發明專利]一種自主駕駛的地面感知點云語義分割方法

在審

• 申請號: 201910429970.6
• 申請日: 2019-05-22
• 公開（公告）號: CN110197215A
• 公開（公告）日: 2019-09-03
• 發明（設計）人: 楊慶雄
• 申請（專利權）人: 深圳市牧月科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06T7/11;G06T7/136
• 代理公司: 佛山市禾才知識產權代理有限公司 44379
• 代理人: 單蘊倩;梁永健

一種自主駕駛的地面感知點云語義分割方法，包括自動預測地面點類別的策略和弱監督全局注意力驅動架構，利用深度CNN從原始數據中提取出地面感知關系和深層特征以及兩種注意力機制融合點云特征，使用弱監督方式和約束地面與目標物的聯合損失函數作為監督。本發明提出一種自主駕駛的地面感知點云語義分割方法，以推動自動駕駛場景3D場景理解的發展，為實現自動駕駛商用化奠定基礎。

技術領域

本發明涉及自動駕駛技術領域，尤其涉及一種自主駕駛的地面感知點云語義分割方法。

背景技術

隨著自動駕駛和人工智能的快速發展，場景理解對于復雜動態場景中機器自動感知的安全性和有效性至關重要。自動駕駛的車輛通常配備有各種傳感器，特別是激光雷達傳感器在理解視覺環境中起著重要的作用，激光雷達系統用于收集稀疏的3D點云以重建實際場景中的環境并幫助自動系統做出決策以更好地理解場景，因此點云的場景語義理解對于自動駕駛至關重要；同時，研究發現，地面可以提供有用的信息，有效的消除數據稀疏性造成的模糊性，物體與地面之間的關系有利于語義分割預測，所以如何針對自動駕駛場景的點云語義進行有效分割以及如何分割地面并獲得物體與地面之間的關系是研究的重點。

發明內容

本發明提出一種自主駕駛的地面感知點云語義分割方法，以解決背景技術中提出的問題，提出一種有效的以弱監督的方式對大型稀疏點云數據進行語義分割的ground-aware網絡，以隱式的使用注意力驅動的框架對地面信息進行有效的利用。

為達此目的，本發明采用以下技術方案：

一種自主駕駛的地面感知點云語義分割方法，包括自動預測地面點類別的策略和弱監督全局注意力驅動架構，利用深度CNN從原始數據中提取出地面感知關系和深層特征以及兩種注意力機制融合點云特征，使用弱監督方式和約束地面與目標物的聯合損失函數作為監督。

優選的，所述自動預測地面點類別策略的步驟如下：

步驟A1：使用掃描傳感器采集地面數據；

步驟A2：根據采集到的地面數據的特征，將點云分成沿車輛行駛方向的多個部分，并進行提取；

步驟A3：提取包括以下步驟：

步驟a31：將車輛行駛場景劃分成多個場景塊，在劃分的場景塊中，對點云段內的各個點依據高度進行排序，找到一組具有最低高度值的點作為平面估計的初始化平面；

步驟a32：對點云段中的每一個點采用平面模型進行計算得到點到平面投影的距離；

步驟a33：設定閾值，通過所設定的閾值確定哪些點屬于地平面；

步驟A4：重復步驟A3，得到每個劃分的點云段的地面平面分割。

優選的，所述注意力機制包括粗粒度注意力機制，所述粗粒度注意力機制包括利用PointNet提取點到平面距離的地面感知關系，利用T-net和MLP架構提取地面特征，并使用PointNet的與訓練模型初始化粗粒度注意力機制網絡的權重。

優選的，所述注意力機制還包括細粒度注意力機制，所述細粒度注意力機制包括根據地面和物體的距離信息計算地面感知關系的半全局信息作為輸入點云的附加特征，其中包括計算點到平面的連接點的距離信息，作為輸入點云特征圖中的所有位置特征的加權和。

優選的，所述細粒度注意力機制包括半全局模塊，所述半全局模塊包括使用3D語義分割網絡捕捉點云的長距離依賴關系，使用深度CNN提取包含距離信息的點云特征，在所述半全局模塊中，將non-ground feat和ground feat作為輸入。

優選的，使用弱監督方式和約束地面與目標物的聯合損失函數作為監督包括：

得到最大化非地面物體被劃分為地面等級的概率的損失函數，將非地面物體分成地面類別的概率最小化，損失函數如下：