[發明專利]語義分割、環境感知方法、裝置和無人車

在審

• 申請號: 202210767911.1
• 申請日: 2022-07-01
• 公開（公告）號: CN115082681A
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 溫欣;董林;康瀚隆;許新玉
• 申請（專利權）人: 北京京東乾石科技有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/40;G06V10/764;G06V10/82;G06V20/56;G06V20/58;G06N3/04
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 王莉莉

本公開提出了一種語義分割、環境感知方法、裝置和無人車，涉及計算機視覺技術領域。其中，語義分割方法包括：根據點云數據生成二維圖像；基于第一神經網絡模型對所述二維圖像進行語義分割處理，以得到所述二維圖像對應的語義分割結果；根據所述二維圖像對應的語義分割結果、以及所述點云數據，生成點云特征圖；基于第二神經網絡模型對所述點云特征圖進行語義分割處理，以得到所述點云數據的語義標簽信息。通過以上步驟，能夠在保持點云語義分割結果準確性的同時，提高點云語義分割處理的實時性。

技術領域

本公開涉及計算機視覺技術領域，尤其涉及無人駕駛領域，特別涉及一種語義分割、環境感知方法、裝置和無人車。

背景技術

目前，無人駕駛設備用于將人或者物從一個位置自動運送到另一個位置，無人駕駛設備通過設備上的傳感器采集環境信息并完成自動運送。基于無人駕駛技術控制的無人配送車進行物流運輸極大地提高了生產生活的便捷性，節約了人力成本。

三維環境感知技術是自動駕駛技術體系中的核心方法之一。該感知技術負責識別自動駕駛車輛周圍的行人、車輛以及其他動、靜態元素，以提供全面的環境信息給下游的控制系統，進而規劃行車路線、規避靜態障礙物和動態的行人、車輛等。在三維環境感知技術體系中，基于激光雷達的三維語義分割方法，其目標是識別出激光雷達掃描出的三維場景點云中各元素的語義類別，是整個三維環境感知技術體系中的一項基礎任務。

發明內容

本公開要解決的一個技術問題是，提供一種語義分割、環境感知方法、裝置和無人車。

根據本公開的第一方面，提出了一種語義分割方法，包括：根據點云數據生成二維圖像；基于第一神經網絡模型對所述二維圖像進行語義分割處理，以得到所述二維圖像對應的語義分割結果；根據所述二維圖像對應的語義分割結果、以及所述點云數據，生成點云特征圖；基于第二神經網絡模型對所述點云特征圖進行語義分割處理，以得到所述點云數據的語義標簽信息。

在一些實施例中，所述二維圖像為深度圖，所述根據點云數據生成二維圖像包括：確定所述點云數據在球面坐標系下的二維轉換坐標，其中，所述二維轉換坐標包括偏航角和俯仰角；根據所述二維轉換坐標，將所述點云數據分配到多個網格中；根據每個網格中的點云點，確定每個網格的特征；根據所有網格的特征，構建所述深度圖。

在一些實施例中，所述二維圖像對應的語義分割結果包括所述二維圖像中每個點對應的語義標簽信息和所述二維圖像中每個點對應的特征表示，所述根據所述二維圖像對應的語義分割結果、以及所述點云數據，生成點云特征圖包括：確定所述點云數據中與所述二維圖像中的每個點匹配的點云點；將所述二維圖像中每個點對應的語義標簽信息和所述二維圖像中每個點對應的特征表示、以及所述匹配的點云點的坐標進行拼接，以得到所述二維圖像中每個點對應的拼接后的特征表示；根據所述二維圖像中每個點對應的拼接后的特征表示，構建所述點云特征圖。

在一些實施例中，基于第一神經網絡模型對所述二維圖像進行語義分割處理，以得到所述二維圖像對應的語義分割結果包括：基于編碼器模塊對所述二維圖像進行特征提取，并將得到的特征圖輸出至解碼器模塊；基于所述解碼器模塊對所述特征圖進行解碼，以得到所述二維圖像對應的語義分割結果。

在一些實施例中，所述基于編碼器模塊對所述二維圖像進行特征提取，并將得到的特征圖輸出至解碼器模塊包括：基于第一編碼單元對所述二維圖像進行特征提取，并將第一編碼單元提取得到的特征圖輸出至第二編碼單元和所述解碼器模塊；基于第二編碼單元對所述第一編碼單元輸出的特征圖進行特征提取，并將第二編碼單元提取得到的特征圖輸出至所述解碼器模塊，其中，所述第一編碼單元與所述第二編碼單元的結構不同。

在一些實施例中，所述第一編碼單元和所述第二編碼單元中的至少一個包括多個卷積層，所述多個卷積層中的至少一個使用長條形卷積核。

在一些實施例中，所述第一編碼單元包括從輸入側到輸出側依次設置的第一至第三卷積層，其中，第一和第三卷積層使用方形的卷積核，第二卷積層使用長條形卷積核。