[發明專利]用于自動駕駛車輛的數據處理方法和裝置

有效

• 申請號: 202010162070.2
• 申請日: 2020-03-10
• 公開（公告）號: CN111401423B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 唐偉康;王軍;張曄
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/82;G06N3/08;G06T7/70
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于自動駕駛車輛的數據處理方法和裝置。方法的一具體實施方式包括：獲取第一傳感器采集的三維圖像的標注數據，以及獲取多個第二傳感器分別采集的二維圖像的標注數據；在每個第二傳感器采集的二維圖像的標注數據，與三維圖像的標注數據之中，確定出相同的標注目標作為具有關聯關系的關聯目標；在二維圖像的標注目標中，將與三維圖像的同一個標注目標具有關聯關系的標注目標，確定為目標關聯目標；生成該目標關聯目標在所對應的至少兩個二維圖像中的關聯信息。本申請實施例能夠實現自動駕駛車輛中，傳感器采集的二維圖像的自動關聯，這樣，基于關聯得到的二維圖像生成訓練樣本，可以提高生成訓練樣本的準確度和效率。

技術領域

本申請實施例涉及計算機技術領域，具體涉及互聯網技術領域，尤其涉及用于自動駕駛車輛的數據處理方法和裝置。

背景技術

在無人車駕駛系統中，視覺感知系統有著具足輕重的地位。視覺感知系統可以基于深度學習模型進行環境感知與目標檢測等。比如，視覺感知系統可以包括攝像頭、雷達等等。

在現有技術中，為了進行更加準確的視覺感知，采用了不止一路傳感器獲取數據。并且，利用大量的樣本對該模型進行訓練，也可以進一步提高深度學習模型感知的準確度。

發明內容

本申請實施例提出了用于自動駕駛車輛的數據處理方法和裝置。

第一方面，本申請實施例提供了一種用于自動駕駛車輛的數據處理方法，自動駕駛車輛包括第一傳感器和多個第二傳感器，方法包括：獲取第一傳感器采集的三維圖像的標注數據，以及獲取多個第二傳感器分別采集的二維圖像的標注數據，其中，三維圖像和二維圖像兩者的時間戳之差的絕對值小于預設時長；在每個第二傳感器采集的二維圖像的標注數據，與三維圖像的標注數據之中，確定出相同的標注目標作為具有關聯關系的關聯目標；在多個第二傳感器采集的二維圖像的關聯目標中，將與三維圖像的同一個標注目標具有關聯關系的關聯目標，確定為目標關聯目標；對于所確定的目標關聯目標中的每一個目標關聯目標，生成該目標關聯目標在所對應的至少兩個二維圖像中的關聯信息，其中，關聯信息用于指示至少兩個二維圖像中的該目標關聯目標之間的關聯關系。

在一些實施例中，方法還包括：對于所確定目標關聯目標中的每一個目標關聯目標，將至少兩個二維圖像中的每個二維圖像中的該目標關聯目標反投影到三維空間中，得到反投影結果；判斷反投影結果與三維圖像中的該目標關聯目標的位置是否匹配；若不匹配，則撤銷該二維圖像中的該目標關聯目標與其它二維圖像的該目標關聯目標的關聯關系。

在一些實施例中，判斷反投影結果與三維圖像中的該目標關聯目標的位置是否匹配，包括：在三維空間中，確定反投影結果所對應的區域與三維圖像中的該目標關聯目標對應的區域之間的交并比；若交并比大于或等于預設閾值，則確定反投影結果與三維圖像中的該目標關聯目標的位置匹配；若交并比小于預設閾值，則確定反投影結果與三維圖像中的該目標關聯目標的位置不匹配。

在一些實施例中，方法還包括：對于所確定的目標關聯目標中的每一個目標關聯目標，基于該目標關聯目標所對應的至少兩個二維圖像，以及該目標關聯目標在所對應的至少兩個二維圖像中的關聯信息，確定用于檢測圖像的深度神經網絡的一個訓練樣本。

在一些實施例中，對于所確定的目標關聯目標中的每一個目標關聯目標，基于該目標關聯目標所對應的至少兩個二維圖像，以及該目標關聯目標在所對應的至少兩個二維圖像中的關聯信息，確定用于檢測圖像的深度神經網絡的一個訓練樣本，包括：將該目標關聯目標所對應的至少兩個二維圖像、該目標關聯目標所對應的至少兩個二維圖像中目標關聯目標的標注數據，以及該目標關聯目標在所對應的至少兩個二維圖像中的關聯信息，確定為一個訓練樣本。

在一些實施例中，深度神經網絡通過以下方式訓練得到：將一個訓練樣本中的至少兩個二維圖像輸入深度神經網絡，得到從深度神經網絡輸出的對該目標關聯目標的位置的預測結果；將一個訓練樣本中，該目標關聯目標的標注數據以及關聯信息作為期望預測結果，基于輸出的預測結果以及期望預測結果，訓練深度神經網絡，得到訓練后的深度神經網絡。