[發(fā)明專利]用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置

有效

• 申請?zhí)枺?/td>: 202010162070.2
• 申請日: 2020-03-10
• 公開（公告）號: CN111401423B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 唐偉康;王軍;張曄
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/82;G06N3/08;G06T7/70
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置。方法的一具體實施方式包括：獲取第一傳感器采集的三維圖像的標(biāo)注數(shù)據(jù)，以及獲取多個第二傳感器分別采集的二維圖像的標(biāo)注數(shù)據(jù)；在每個第二傳感器采集的二維圖像的標(biāo)注數(shù)據(jù)，與三維圖像的標(biāo)注數(shù)據(jù)之中，確定出相同的標(biāo)注目標(biāo)作為具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標(biāo)；在二維圖像的標(biāo)注目標(biāo)中，將與三維圖像的同一個標(biāo)注目標(biāo)具有關(guān)聯(lián)關(guān)系的標(biāo)注目標(biāo)，確定為目標(biāo)關(guān)聯(lián)目標(biāo)；生成該目標(biāo)關(guān)聯(lián)目標(biāo)在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息。本申請實施例能夠?qū)崿F(xiàn)自動駕駛車輛中，傳感器采集的二維圖像的自動關(guān)聯(lián)，這樣，基于關(guān)聯(lián)得到的二維圖像生成訓(xùn)練樣本，可以提高生成訓(xùn)練樣本的準(zhǔn)確度和效率。

技術(shù)領(lǐng)域

本申請實施例涉及計算機技術(shù)領(lǐng)域，具體涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置。

背景技術(shù)

在無人車駕駛系統(tǒng)中，視覺感知系統(tǒng)有著具足輕重的地位。視覺感知系統(tǒng)可以基于深度學(xué)習(xí)模型進行環(huán)境感知與目標(biāo)檢測等。比如，視覺感知系統(tǒng)可以包括攝像頭、雷達等等。

在現(xiàn)有技術(shù)中，為了進行更加準(zhǔn)確的視覺感知，采用了不止一路傳感器獲取數(shù)據(jù)。并且，利用大量的樣本對該模型進行訓(xùn)練，也可以進一步提高深度學(xué)習(xí)模型感知的準(zhǔn)確度。

發(fā)明內(nèi)容

本申請實施例提出了用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置。

第一方面，本申請實施例提供了一種用于自動駕駛車輛的數(shù)據(jù)處理方法，自動駕駛車輛包括第一傳感器和多個第二傳感器，方法包括：獲取第一傳感器采集的三維圖像的標(biāo)注數(shù)據(jù)，以及獲取多個第二傳感器分別采集的二維圖像的標(biāo)注數(shù)據(jù)，其中，三維圖像和二維圖像兩者的時間戳之差的絕對值小于預(yù)設(shè)時長；在每個第二傳感器采集的二維圖像的標(biāo)注數(shù)據(jù)，與三維圖像的標(biāo)注數(shù)據(jù)之中，確定出相同的標(biāo)注目標(biāo)作為具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標(biāo)；在多個第二傳感器采集的二維圖像的關(guān)聯(lián)目標(biāo)中，將與三維圖像的同一個標(biāo)注目標(biāo)具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標(biāo)，確定為目標(biāo)關(guān)聯(lián)目標(biāo)；對于所確定的目標(biāo)關(guān)聯(lián)目標(biāo)中的每一個目標(biāo)關(guān)聯(lián)目標(biāo)，生成該目標(biāo)關(guān)聯(lián)目標(biāo)在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息，其中，關(guān)聯(lián)信息用于指示至少兩個二維圖像中的該目標(biāo)關(guān)聯(lián)目標(biāo)之間的關(guān)聯(lián)關(guān)系。

在一些實施例中，方法還包括：對于所確定目標(biāo)關(guān)聯(lián)目標(biāo)中的每一個目標(biāo)關(guān)聯(lián)目標(biāo)，將至少兩個二維圖像中的每個二維圖像中的該目標(biāo)關(guān)聯(lián)目標(biāo)反投影到三維空間中，得到反投影結(jié)果；判斷反投影結(jié)果與三維圖像中的該目標(biāo)關(guān)聯(lián)目標(biāo)的位置是否匹配；若不匹配，則撤銷該二維圖像中的該目標(biāo)關(guān)聯(lián)目標(biāo)與其它二維圖像的該目標(biāo)關(guān)聯(lián)目標(biāo)的關(guān)聯(lián)關(guān)系。

在一些實施例中，判斷反投影結(jié)果與三維圖像中的該目標(biāo)關(guān)聯(lián)目標(biāo)的位置是否匹配，包括：在三維空間中，確定反投影結(jié)果所對應(yīng)的區(qū)域與三維圖像中的該目標(biāo)關(guān)聯(lián)目標(biāo)對應(yīng)的區(qū)域之間的交并比；若交并比大于或等于預(yù)設(shè)閾值，則確定反投影結(jié)果與三維圖像中的該目標(biāo)關(guān)聯(lián)目標(biāo)的位置匹配；若交并比小于預(yù)設(shè)閾值，則確定反投影結(jié)果與三維圖像中的該目標(biāo)關(guān)聯(lián)目標(biāo)的位置不匹配。

在一些實施例中，方法還包括：對于所確定的目標(biāo)關(guān)聯(lián)目標(biāo)中的每一個目標(biāo)關(guān)聯(lián)目標(biāo)，基于該目標(biāo)關(guān)聯(lián)目標(biāo)所對應(yīng)的至少兩個二維圖像，以及該目標(biāo)關(guān)聯(lián)目標(biāo)在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息，確定用于檢測圖像的深度神經(jīng)網(wǎng)絡(luò)的一個訓(xùn)練樣本。

在一些實施例中，對于所確定的目標(biāo)關(guān)聯(lián)目標(biāo)中的每一個目標(biāo)關(guān)聯(lián)目標(biāo)，基于該目標(biāo)關(guān)聯(lián)目標(biāo)所對應(yīng)的至少兩個二維圖像，以及該目標(biāo)關(guān)聯(lián)目標(biāo)在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息，確定用于檢測圖像的深度神經(jīng)網(wǎng)絡(luò)的一個訓(xùn)練樣本，包括：將該目標(biāo)關(guān)聯(lián)目標(biāo)所對應(yīng)的至少兩個二維圖像、該目標(biāo)關(guān)聯(lián)目標(biāo)所對應(yīng)的至少兩個二維圖像中目標(biāo)關(guān)聯(lián)目標(biāo)的標(biāo)注數(shù)據(jù)，以及該目標(biāo)關(guān)聯(lián)目標(biāo)在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息，確定為一個訓(xùn)練樣本。

在一些實施例中，深度神經(jīng)網(wǎng)絡(luò)通過以下方式訓(xùn)練得到：將一個訓(xùn)練樣本中的至少兩個二維圖像輸入深度神經(jīng)網(wǎng)絡(luò)，得到從深度神經(jīng)網(wǎng)絡(luò)輸出的對該目標(biāo)關(guān)聯(lián)目標(biāo)的位置的預(yù)測結(jié)果；將一個訓(xùn)練樣本中，該目標(biāo)關(guān)聯(lián)目標(biāo)的標(biāo)注數(shù)據(jù)以及關(guān)聯(lián)信息作為期望預(yù)測結(jié)果，基于輸出的預(yù)測結(jié)果以及期望預(yù)測結(jié)果，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)。