[發(fā)明專利]用于自動(dòng)駕駛車輛的數(shù)據(jù)處理方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010162584.8
• 申請(qǐng)日: 2020-03-10
• 公開（公告）號(hào): CN111401194B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計(jì)）人: 唐偉康;王軍;張曄
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V20/56
• 分類號(hào): G06V20/56;G06T7/73;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本申請(qǐng)實(shí)施例公開了用于自動(dòng)駕駛車輛的數(shù)據(jù)處理方法和裝置。該方法的一具體實(shí)施方式包括：獲取該第一傳感器采集的三維圖像的標(biāo)注數(shù)據(jù)和該第二傳感器采集的二維圖像的標(biāo)注數(shù)據(jù)；對(duì)該三維圖像中標(biāo)注目標(biāo)的位置，進(jìn)行相對(duì)于該二維圖像的運(yùn)動(dòng)補(bǔ)償，得到運(yùn)動(dòng)補(bǔ)償結(jié)果；將該運(yùn)動(dòng)補(bǔ)償結(jié)果與該二維圖像中標(biāo)注目標(biāo)的位置進(jìn)行匹配，以及將相匹配的標(biāo)注目標(biāo)，確定為該三維圖像與該二維圖像中具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標(biāo)。本申請(qǐng)實(shí)施例提供的方案對(duì)三維圖像中標(biāo)注目標(biāo)的位置進(jìn)行了運(yùn)動(dòng)補(bǔ)償，從而可以減小因拍攝時(shí)間不同造成的二維圖像和三維圖像中標(biāo)注目標(biāo)的偏差。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及用于自動(dòng)駕駛車輛的數(shù)據(jù)處理方法和裝置。

背景技術(shù)

自動(dòng)駕駛車輛又稱無人車，指可以通過車載系統(tǒng)(比如車載大腦)實(shí)現(xiàn)自動(dòng)駕駛的車輛。自動(dòng)駕駛車輛具有視覺感知系統(tǒng)，為了進(jìn)行更加準(zhǔn)確的視覺感知，采用了不止一路傳感器獲取數(shù)據(jù)。比如，視覺感知系統(tǒng)可以包括攝像頭和雷達(dá)。

視覺感知系統(tǒng)一般基于深度學(xué)習(xí)模型進(jìn)行環(huán)境感知以及目標(biāo)檢測。通常情況下，該深度學(xué)習(xí)模型需要訓(xùn)練樣本進(jìn)行訓(xùn)練。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提出了用于自動(dòng)駕駛車輛的數(shù)據(jù)處理方法和裝置。

第一方面，本申請(qǐng)實(shí)施例提供了一種用于自動(dòng)駕駛車輛的數(shù)據(jù)處理方法，自動(dòng)駕駛車輛包括第一傳感器和第二傳感器，方法包括：獲取第一傳感器采集的三維圖像的標(biāo)注數(shù)據(jù)和第二傳感器采集的二維圖像的標(biāo)注數(shù)據(jù)，其中，三維圖像和二維圖像兩者的時(shí)間戳之差的絕對(duì)值不大于預(yù)設(shè)時(shí)長，標(biāo)注數(shù)據(jù)包括標(biāo)注目標(biāo)的位置；對(duì)三維圖像中標(biāo)注目標(biāo)的位置，進(jìn)行相對(duì)于二維圖像的運(yùn)動(dòng)補(bǔ)償，得到運(yùn)動(dòng)補(bǔ)償結(jié)果；將運(yùn)動(dòng)補(bǔ)償結(jié)果與二維圖像中標(biāo)注目標(biāo)的位置進(jìn)行匹配，以及將相匹配的標(biāo)注目標(biāo)，確定為三維圖像與二維圖像中具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標(biāo)。

在一些實(shí)施例中，方法還包括：將三維圖像中標(biāo)注目標(biāo)的位置，從第一傳感器的雷達(dá)坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，得到轉(zhuǎn)換后的標(biāo)注目標(biāo)的位置；以及對(duì)三維圖像中標(biāo)注目標(biāo)的位置，進(jìn)行相對(duì)于二維圖像的運(yùn)動(dòng)補(bǔ)償，得到運(yùn)動(dòng)補(bǔ)償結(jié)果，包括：在世界坐標(biāo)系中，對(duì)轉(zhuǎn)換后的標(biāo)注目標(biāo)的位置，進(jìn)行相對(duì)于二維圖像的運(yùn)動(dòng)補(bǔ)償，得到運(yùn)動(dòng)補(bǔ)償結(jié)果。

在一些實(shí)施例中，方法還包括：將世界坐標(biāo)系中的運(yùn)動(dòng)補(bǔ)償結(jié)果，轉(zhuǎn)換到第二傳感器的相機(jī)坐標(biāo)系中，得到轉(zhuǎn)換后的運(yùn)動(dòng)補(bǔ)償結(jié)果；以及將三維圖像所對(duì)應(yīng)的運(yùn)動(dòng)補(bǔ)償結(jié)果與二維圖像中標(biāo)注目標(biāo)的位置進(jìn)行匹配，包括：基于三維圖像所對(duì)應(yīng)的轉(zhuǎn)換后的運(yùn)動(dòng)補(bǔ)償結(jié)果與二維圖像中標(biāo)注目標(biāo)的交并比，確定出相匹配的標(biāo)注目標(biāo)。

在一些實(shí)施例中，方法還包括：基于第二傳感器的內(nèi)參，將三維圖像所對(duì)應(yīng)的轉(zhuǎn)換后的運(yùn)動(dòng)補(bǔ)償結(jié)果，投影到二維空間中，得到投影結(jié)果；以及基于三維圖像所對(duì)應(yīng)的轉(zhuǎn)換后的運(yùn)動(dòng)補(bǔ)償結(jié)果與二維圖像中標(biāo)注目標(biāo)的交并比，確定出相匹配的標(biāo)注目標(biāo)，包括：在二維空間中，基于三維圖像所對(duì)應(yīng)的投影結(jié)果與二維圖像中標(biāo)注目標(biāo)的交并比，確定出相匹配的標(biāo)注目標(biāo)。

在一些實(shí)施例中，在將相匹配的標(biāo)注目標(biāo)，確定為三維圖像與二維圖像中具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標(biāo)之后，方法還包括：獲取關(guān)聯(lián)目標(biāo)與自動(dòng)駕駛車輛的距離，并確定距離對(duì)應(yīng)的交并比參考范圍；若相匹配的標(biāo)注目標(biāo)的交并比在交并比參考范圍內(nèi)，確認(rèn)關(guān)聯(lián)關(guān)系成立；若相匹配的標(biāo)注目標(biāo)的交并比不在交并比參考范圍內(nèi)，確認(rèn)關(guān)聯(lián)關(guān)系不成立。

在一些實(shí)施例中，對(duì)三維圖像中標(biāo)注目標(biāo)的位置，進(jìn)行相對(duì)于二維圖像的運(yùn)動(dòng)補(bǔ)償，得到運(yùn)動(dòng)補(bǔ)償結(jié)果，包括：確定二維圖像與三維圖像兩者的時(shí)間戳之差；確定在第一傳感器檢測得到三維圖像時(shí)，三維圖像中標(biāo)注目標(biāo)的移動(dòng)速度；根據(jù)所述移動(dòng)速度與所述時(shí)間戳之差的乘積，確定運(yùn)動(dòng)補(bǔ)償量；根據(jù)所述三維圖像中標(biāo)注目標(biāo)的位置與所述運(yùn)動(dòng)補(bǔ)償量，確定所述運(yùn)動(dòng)補(bǔ)償結(jié)果。

在一些實(shí)施例中，方法還包括：將二維圖像和三維圖像，以及二維圖像和三維圖像中，關(guān)聯(lián)目標(biāo)的標(biāo)注數(shù)據(jù)和關(guān)聯(lián)目標(biāo)的關(guān)聯(lián)信息，確定為用于檢測圖像的深度神經(jīng)網(wǎng)絡(luò)的一個(gè)訓(xùn)練樣本的樣本信息，其中，關(guān)聯(lián)信息用于指示三維圖像與二維圖像中的關(guān)聯(lián)目標(biāo)之間的關(guān)聯(lián)關(guān)系。