[發明專利]用于自動駕駛車輛的數據處理方法和裝置

有效

• 申請號: 202010162070.2
• 申請日: 2020-03-10
• 公開（公告）號: CN111401423B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 唐偉康;王軍;張曄
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/82;G06N3/08;G06T7/70
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于自動駕駛車輛的數據處理方法，所述自動駕駛車輛包括第一傳感器和多個第二傳感器，所述方法包括：

獲取所述第一傳感器采集的三維圖像的標注數據，以及獲取所述多個第二傳感器分別采集的二維圖像的標注數據，其中，所述三維圖像和所述二維圖像兩者的時間戳之差的絕對值小于預設時長；

在每個第二傳感器采集的二維圖像的標注數據，與所述三維圖像的標注數據之中，確定出相同的標注目標作為具有關聯關系的關聯目標；

在所述多個第二傳感器采集的二維圖像的關聯目標中，將與所述三維圖像的同一個標注目標具有關聯關系的關聯目標，確定為目標關聯目標；

對于所確定的目標關聯目標中的每一個目標關聯目標，生成該目標關聯目標在所對應的至少兩個二維圖像中的關聯信息，其中，所述關聯信息用于指示所述至少兩個二維圖像中的該目標關聯目標之間的關聯關系。

2.根據權利要求1所述的方法，其中，所述方法還包括：

對于所確定目標關聯目標中的每一個目標關聯目標，將所述至少兩個二維圖像中的每個二維圖像中的該目標關聯目標反投影到三維空間中，得到反投影結果；

判斷所述反投影結果與所述三維圖像中的該目標關聯目標的位置是否匹配；

若不匹配，則撤銷該二維圖像中的該目標關聯目標與其它二維圖像的該目標關聯目標的關聯關系。

3.根據權利要求2所述的方法，其中，所述判斷所述反投影結果與所述三維圖像中的該目標關聯目標的位置是否匹配，包括：

在所述三維空間中，確定所述反投影結果所對應的區域與所述三維圖像中的該目標關聯目標對應的區域之間的交并比；

若所述交并比大于或等于預設閾值，則確定所述反投影結果與所述三維圖像中的該目標關聯目標的位置匹配；

若所述交并比小于預設閾值，則確定所述反投影結果與所述三維圖像中的該目標關聯目標的位置不匹配。

4.根據權利要求1-3任意一項所述的方法，其中，所述方法還包括：

對于所確定的目標關聯目標中的每一個目標關聯目標，基于該目標關聯目標所對應的至少兩個二維圖像，以及該目標關聯目標在所對應的至少兩個二維圖像中的關聯信息，確定用于檢測圖像的深度神經網絡的一個訓練樣本。

5.根據權利要求4所述的方法，其中，所述對于所確定的目標關聯目標中的每一個目標關聯目標，基于該目標關聯目標所對應的至少兩個二維圖像，以及該目標關聯目標在所對應的至少兩個二維圖像中的關聯信息，確定用于檢測圖像的深度神經網絡的一個訓練樣本，包括：

將該目標關聯目標所對應的至少兩個二維圖像、該目標關聯目標所對應的至少兩個二維圖像中所述目標關聯目標的標注數據，以及該目標關聯目標在所對應的至少兩個二維圖像中的關聯信息，確定為所述一個訓練樣本。

6.根據權利要求5所述的方法，其中，所述深度神經網絡通過以下方式訓練得到：

將所述一個訓練樣本中的所述至少兩個二維圖像輸入所述深度神經網絡，得到從所述深度神經網絡輸出的對該目標關聯目標的位置的預測結果；

將所述一個訓練樣本中，該目標關聯目標的標注數據以及關聯信息作為期望預測結果，基于輸出的預測結果以及所述期望預測結果，訓練所述深度神經網絡，得到訓練后的所述深度神經網絡。