[發明專利]自主機器應用中使用RADAR傳感器檢測障礙物的深度神經網絡

在審

• 申請號: 202011294650.3
• 申請日: 2020-11-18
• 公開（公告）號: CN112825134A
• 公開（公告）日: 2021-05-21
• 發明（設計）人: A·波波夫;N·斯莫良斯基;R·奧迪家;S·默里;T·韋克爾;D·尼斯特;J·佩瑟爾;R·巴爾加瓦;S·奧
• 申請（專利權）人: 輝達公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G01S13/931;G01S17/931;G01C21/16
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 劉娟

1.一種方法，包括：

接收從三維(3D)環境收集的RADAR數據和LIDAR數據；

正射投影與時間片相關聯的所述LIDAR數據的第一實例，以生成代表所述3D環境中的LIDAR檢測的LIDAR投影圖像；

接收LIDAR標簽，所述LIDAR標簽識別在所述LIDAR投影圖像中由所述LIDAR檢測表示的對象位置；

正射投影與所述時間片相關聯的所述RADAR數據的第二實例，以生成代表所述3D環境中的RADAR檢測的RADAR投影圖像；

將所述LIDAR標簽傳播到所述RADAR投影圖像以生成傳播的LIDAR標簽；

確定與所述傳播的LIDAR標簽中的每個傳播的LIDAR標簽相對應的所述RADAR檢測的數量；

移除包含少于閾值數量的RADAR檢測的所述傳播的LIDAR標簽集，剩下剩余的LIDAR標簽集；以及

使用至少部分地基于所述剩余的LIDAR標簽集生成的地面真實數據訓練神經網絡，以從所述RADAR投影圖像檢測對象。

2.根據權利要求1所述的方法，還包括：

將所述RADAR投影圖像和代表所述RADAR檢測的特征集以及相應的反射特性編碼為多通道RADAR數據張量；以及

使用所述多通道RADAR數據張量和所述地面真實數據作為訓練數據訓練所述神經網絡。

3.根據權利要求1所述的方法，其中所述RADAR數據的所述第二實例包括累積的、自我運動補償的RADAR檢測。

4.根據權利要求1所述的方法，其中所述地面真實數據包括類置信度張量和實例回歸張量。

5.根據權利要求1所述的方法，還包括使用所述剩余的LIDAR標簽集生成所述地面真實數據，以生成由所述LIDAR檢測所表示的所述對象的位置、大小或方向數據中的至少一個，且將所述位置、大小或方向數據中的至少一個編碼為實例回歸張量的相應通道。

6.根據權利要求1所述的方法，其中所述LIDAR標簽還識別由所述LIDAR投影圖像中的所述LIDAR檢測表示的所述對象的類別，所述方法還包括通過將代表所述對象的所述類別的分類數據編碼為類置信張量的相應通道來生成所述地面真實數據。

7.根據權利要求1所述的方法，其中所述LIDAR標簽包括在所述3D環境中圍繞靜止車輛繪制的邊界盒，所述方法還包括使用圍繞所述靜止車輛繪制的所述邊界盒來訓練所述神經網絡以從輸入RADAR數據檢測其他靜止車輛。

8.根據權利要求1所述的方法，其中所述LIDAR投影圖像是LIDAR點云的正射投影，其中所述LIDAR標簽包括圍繞在所述正射投影頂部繪制的每個車輛的閉合折線集。

9.一種方法，包括：

接收從三維(3D)環境收集的RADAR數據和LIDAR數據；

對于所述LIDAR數據的每幀：

從所述LIDAR數據的幀生成代表來自所述3D環境的LIDAR檢測的LIDAR投影圖像；

接收LIDAR標簽，所述LIDAR標簽識別在所述LIDAR投影圖像中由所述LIDAR檢測表示的對象位置；

從與所述LIDAR數據的幀相關聯的所述RADAR數據的相應幀生成代表來自所述3D環境的RADAR檢測的RADAR投影圖像；以及

使用至少部分地基于所述LIDAR標簽生成的地面真實數據訓練神經網絡，以從所述RADAR投影圖像中檢測對象。

10.根據權利要求9所述的方法，還包括通過以下步驟生成所述地面真實數據：

將所述LIDAR標簽傳播到所述RADAR投影圖像以生成傳播的LIDAR標簽；

確定與所述傳播的LIDAR標簽中的每個傳播的LIDAR標簽相對應的所述RADAR檢測的數量；

移除包含少于閾值數量的RADAR檢測的所述傳播的LIDAR標簽集，剩下剩余的LIDAR標簽集；以及

從所述剩余的LIDAR標簽集生成所述地面真實數據。