[發明專利]語義分割、環境感知方法、裝置和無人車

在審

• 申請號: 202210767911.1
• 申請日: 2022-07-01
• 公開（公告）號: CN115082681A
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 溫欣;董林;康瀚隆;許新玉
• 申請（專利權）人: 北京京東乾石科技有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/40;G06V10/764;G06V10/82;G06V20/56;G06V20/58;G06N3/04
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 王莉莉

1.一種語義分割方法，包括：

根據點云數據生成二維圖像；

基于第一神經網絡模型對所述二維圖像進行語義分割處理，以得到所述二維圖像對應的語義分割結果；

根據所述二維圖像對應的語義分割結果、以及所述點云數據，生成點云特征圖；

基于第二神經網絡模型對所述點云特征圖進行語義分割處理，以得到所述點云數據的語義標簽信息。

2.根據權利要求1所述的語義分割方法，其中，所述二維圖像為深度圖，所述根據點云數據生成二維圖像包括：

確定所述點云數據在球面坐標系下的二維轉換坐標，其中，所述二維轉換坐標包括偏航角和俯仰角；

根據所述二維轉換坐標，將所述點云數據分配到多個網格中；

根據每個網格中的點云點，確定每個網格的特征；

根據所有網格的特征，構建所述深度圖。

3.根據權利要求1所述的語義分割方法，其中，所述二維圖像對應的語義分割結果包括所述二維圖像中每個點對應的語義標簽信息和所述二維圖像中每個點對應的特征表示，所述根據所述二維圖像對應的語義分割結果、以及所述點云數據，生成點云特征圖包括：

確定所述點云數據中與所述二維圖像中的每個點匹配的點云點；

將所述二維圖像中每個點對應的語義標簽信息和所述二維圖像中每個點對應的特征表示、以及所述匹配的點云點的坐標進行拼接，以得到所述二維圖像中每個點對應的拼接后的特征表示；

根據所述二維圖像中每個點對應的拼接后的特征表示，構建所述點云特征圖。

4.根據權利要求1所述的語義分割方法，其中，基于第一神經網絡模型對所述二維圖像進行語義分割處理，以得到所述二維圖像對應的語義分割結果包括：

基于編碼器模塊對所述二維圖像進行特征提取，并將得到的特征圖輸出至解碼器模塊；

基于所述解碼器模塊對所述特征圖進行解碼，以得到所述二維圖像對應的語義分割結果。

5.根據權利要求4所述的語義分割方法，其中，所述基于編碼器模塊對所述二維圖像進行特征提取，并將得到的特征圖輸出至解碼器模塊包括：

基于第一編碼單元對所述二維圖像進行特征提取，并將第一編碼單元得到的特征圖輸出至第二編碼單元和所述解碼器模塊；

基于第二編碼單元對所述第一編碼單元輸出的特征圖進行特征提取，并將第二編碼單元得到的特征圖輸出至所述解碼器模塊，其中，所述第一編碼單元與所述第二編碼單元的結構不同。

6.根據權利要求5所述的語義分割方法，其中，所述第一編碼單元和所述第二編碼單元中的至少一個包括多個卷積層，所述多個卷積層中的至少一個使用長條形卷積核。

7.根據權利要求6所述的語義分割方法，其中，所述第一編碼單元包括從輸入側到輸出側依次設置的第一至第三卷積層，其中，第一和第三卷積層使用方形的卷積核，第二卷積層使用長條形卷積核。

8.根據權利要求4所述的語義分割方法，其中，所述解碼器模塊包括從輸入側到輸出側依次設置的多個解碼單元、以及語義標簽分類層，所述解碼單元包括上采樣層和多個卷積層。

9.根據權利要求1所述的語義分割方法，其中，所述第二神經網絡模型包括多個卷積層、以及語義標簽分類層，其中，所述卷積層采用1*1卷積核。

10.一種環境感知方法，包括：

獲取無人車采集的點云數據；

根據權利要求1-9任一所述的語義分割方法確定所述點云數據的語義標簽信息；

根據所述點云數據的語義標簽信息確定所述無人車所處的環境信息。