[發(fā)明專利]用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置

有效

• 申請?zhí)枺?/td>: 202010162070.2
• 申請日: 2020-03-10
• 公開（公告）號: CN111401423B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 唐偉康;王軍;張曄
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/82;G06N3/08;G06T7/70
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置。方法的一具體實施方式包括：獲取第一傳感器采集的三維圖像的標注數(shù)據(jù)，以及獲取多個第二傳感器分別采集的二維圖像的標注數(shù)據(jù)；在每個第二傳感器采集的二維圖像的標注數(shù)據(jù)，與三維圖像的標注數(shù)據(jù)之中，確定出相同的標注目標作為具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標；在二維圖像的標注目標中，將與三維圖像的同一個標注目標具有關(guān)聯(lián)關(guān)系的標注目標，確定為目標關(guān)聯(lián)目標；生成該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息。本申請實施例能夠?qū)崿F(xiàn)自動駕駛車輛中，傳感器采集的二維圖像的自動關(guān)聯(lián)，這樣，基于關(guān)聯(lián)得到的二維圖像生成訓(xùn)練樣本，可以提高生成訓(xùn)練樣本的準確度和效率。

技術(shù)領(lǐng)域

本申請實施例涉及計算機技術(shù)領(lǐng)域，具體涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置。

背景技術(shù)

在無人車駕駛系統(tǒng)中，視覺感知系統(tǒng)有著具足輕重的地位。視覺感知系統(tǒng)可以基于深度學(xué)習模型進行環(huán)境感知與目標檢測等。比如，視覺感知系統(tǒng)可以包括攝像頭、雷達等等。

在現(xiàn)有技術(shù)中，為了進行更加準確的視覺感知，采用了不止一路傳感器獲取數(shù)據(jù)。并且，利用大量的樣本對該模型進行訓(xùn)練，也可以進一步提高深度學(xué)習模型感知的準確度。

發(fā)明內(nèi)容

本申請實施例提出了用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置。

第一方面，本申請實施例提供了一種用于自動駕駛車輛的數(shù)據(jù)處理方法，自動駕駛車輛包括第一傳感器和多個第二傳感器，方法包括：獲取第一傳感器采集的三維圖像的標注數(shù)據(jù)，以及獲取多個第二傳感器分別采集的二維圖像的標注數(shù)據(jù)，其中，三維圖像和二維圖像兩者的時間戳之差的絕對值小于預(yù)設(shè)時長；在每個第二傳感器采集的二維圖像的標注數(shù)據(jù)，與三維圖像的標注數(shù)據(jù)之中，確定出相同的標注目標作為具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標；在多個第二傳感器采集的二維圖像的關(guān)聯(lián)目標中，將與三維圖像的同一個標注目標具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標，確定為目標關(guān)聯(lián)目標；對于所確定的目標關(guān)聯(lián)目標中的每一個目標關(guān)聯(lián)目標，生成該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息，其中，關(guān)聯(lián)信息用于指示至少兩個二維圖像中的該目標關(guān)聯(lián)目標之間的關(guān)聯(lián)關(guān)系。

在一些實施例中，方法還包括：對于所確定目標關(guān)聯(lián)目標中的每一個目標關(guān)聯(lián)目標，將至少兩個二維圖像中的每個二維圖像中的該目標關(guān)聯(lián)目標反投影到三維空間中，得到反投影結(jié)果；判斷反投影結(jié)果與三維圖像中的該目標關(guān)聯(lián)目標的位置是否匹配；若不匹配，則撤銷該二維圖像中的該目標關(guān)聯(lián)目標與其它二維圖像的該目標關(guān)聯(lián)目標的關(guān)聯(lián)關(guān)系。

在一些實施例中，判斷反投影結(jié)果與三維圖像中的該目標關(guān)聯(lián)目標的位置是否匹配，包括：在三維空間中，確定反投影結(jié)果所對應(yīng)的區(qū)域與三維圖像中的該目標關(guān)聯(lián)目標對應(yīng)的區(qū)域之間的交并比；若交并比大于或等于預(yù)設(shè)閾值，則確定反投影結(jié)果與三維圖像中的該目標關(guān)聯(lián)目標的位置匹配；若交并比小于預(yù)設(shè)閾值，則確定反投影結(jié)果與三維圖像中的該目標關(guān)聯(lián)目標的位置不匹配。

在一些實施例中，方法還包括：對于所確定的目標關(guān)聯(lián)目標中的每一個目標關(guān)聯(lián)目標，基于該目標關(guān)聯(lián)目標所對應(yīng)的至少兩個二維圖像，以及該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息，確定用于檢測圖像的深度神經(jīng)網(wǎng)絡(luò)的一個訓(xùn)練樣本。

在一些實施例中，對于所確定的目標關(guān)聯(lián)目標中的每一個目標關(guān)聯(lián)目標，基于該目標關(guān)聯(lián)目標所對應(yīng)的至少兩個二維圖像，以及該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息，確定用于檢測圖像的深度神經(jīng)網(wǎng)絡(luò)的一個訓(xùn)練樣本，包括：將該目標關(guān)聯(lián)目標所對應(yīng)的至少兩個二維圖像、該目標關(guān)聯(lián)目標所對應(yīng)的至少兩個二維圖像中目標關(guān)聯(lián)目標的標注數(shù)據(jù)，以及該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息，確定為一個訓(xùn)練樣本。

在一些實施例中，深度神經(jīng)網(wǎng)絡(luò)通過以下方式訓(xùn)練得到：將一個訓(xùn)練樣本中的至少兩個二維圖像輸入深度神經(jīng)網(wǎng)絡(luò)，得到從深度神經(jīng)網(wǎng)絡(luò)輸出的對該目標關(guān)聯(lián)目標的位置的預(yù)測結(jié)果；將一個訓(xùn)練樣本中，該目標關(guān)聯(lián)目標的標注數(shù)據(jù)以及關(guān)聯(lián)信息作為期望預(yù)測結(jié)果，基于輸出的預(yù)測結(jié)果以及期望預(yù)測結(jié)果，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)。