[發(fā)明專利]用于自動(dòng)駕駛車輛的數(shù)據(jù)處理方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010162584.8
• 申請(qǐng)日: 2020-03-10
• 公開（公告）號(hào): CN111401194B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計(jì)）人: 唐偉康;王軍;張曄
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V20/56
• 分類號(hào): G06V20/56;G06T7/73;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于自動(dòng)駕駛車輛的數(shù)據(jù)處理方法，所述自動(dòng)駕駛車輛包括第一傳感器和第二傳感器，所述方法包括：

獲取所述第一傳感器采集的三維圖像的標(biāo)注數(shù)據(jù)和所述第二傳感器采集的二維圖像的標(biāo)注數(shù)據(jù)，其中，所述三維圖像和所述二維圖像兩者的時(shí)間戳之差的絕對(duì)值不大于預(yù)設(shè)時(shí)長(zhǎng)，所述標(biāo)注數(shù)據(jù)包括標(biāo)注目標(biāo)的位置；

對(duì)所述三維圖像中標(biāo)注目標(biāo)的位置，進(jìn)行相對(duì)于所述二維圖像的運(yùn)動(dòng)補(bǔ)償，得到運(yùn)動(dòng)補(bǔ)償結(jié)果；

將所述運(yùn)動(dòng)補(bǔ)償結(jié)果與所述二維圖像中標(biāo)注目標(biāo)的位置進(jìn)行匹配，以及將相匹配的標(biāo)注目標(biāo)，確定為所述三維圖像與所述二維圖像中具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標(biāo)；

在所述將相匹配的標(biāo)注目標(biāo)，確定為所述三維圖像與所述二維圖像中具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標(biāo)之后，所述方法還包括：

獲取所述關(guān)聯(lián)目標(biāo)與所述自動(dòng)駕駛車輛的距離，并確定所述距離對(duì)應(yīng)的交并比參考范圍；

若相匹配的標(biāo)注目標(biāo)的交并比在所述交并比參考范圍內(nèi)，確認(rèn)所述關(guān)聯(lián)關(guān)系成立；

若相匹配的標(biāo)注目標(biāo)的交并比不在所述交并比參考范圍內(nèi)，確認(rèn)所述關(guān)聯(lián)關(guān)系不成立。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：

將所述三維圖像中標(biāo)注目標(biāo)的位置，從第一傳感器的雷達(dá)坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，得到轉(zhuǎn)換后的標(biāo)注目標(biāo)的位置；以及

所述對(duì)所述三維圖像中標(biāo)注目標(biāo)的位置，進(jìn)行相對(duì)于所述二維圖像的運(yùn)動(dòng)補(bǔ)償，得到運(yùn)動(dòng)補(bǔ)償結(jié)果，包括：

在世界坐標(biāo)系中，對(duì)所述轉(zhuǎn)換后的標(biāo)注目標(biāo)的位置，進(jìn)行相對(duì)于所述二維圖像的運(yùn)動(dòng)補(bǔ)償，得到運(yùn)動(dòng)補(bǔ)償結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述方法還包括：

將所述世界坐標(biāo)系中的所述運(yùn)動(dòng)補(bǔ)償結(jié)果，轉(zhuǎn)換到所述第二傳感器的相機(jī)坐標(biāo)系中，得到轉(zhuǎn)換后的運(yùn)動(dòng)補(bǔ)償結(jié)果；以及

所述將所述三維圖像所對(duì)應(yīng)的運(yùn)動(dòng)補(bǔ)償結(jié)果與所述二維圖像中標(biāo)注目標(biāo)的位置進(jìn)行匹配，包括：

基于所述三維圖像所對(duì)應(yīng)的所述轉(zhuǎn)換后的運(yùn)動(dòng)補(bǔ)償結(jié)果與所述二維圖像中標(biāo)注目標(biāo)的交并比，確定出所述相匹配的標(biāo)注目標(biāo)。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述方法還包括：

基于所述第二傳感器的內(nèi)參，將所述三維圖像所對(duì)應(yīng)的所述轉(zhuǎn)換后的運(yùn)動(dòng)補(bǔ)償結(jié)果，投影到二維空間中，得到投影結(jié)果；以及

所述基于所述三維圖像所對(duì)應(yīng)的所述轉(zhuǎn)換后的運(yùn)動(dòng)補(bǔ)償結(jié)果與所述二維圖像中標(biāo)注目標(biāo)的交并比，確定出所述相匹配的標(biāo)注目標(biāo)，包括：

在所述二維空間中，基于所述三維圖像所對(duì)應(yīng)的所述投影結(jié)果與所述二維圖像中標(biāo)注目標(biāo)的交并比，確定出所述相匹配的標(biāo)注目標(biāo)。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)所述三維圖像中標(biāo)注目標(biāo)的位置，進(jìn)行相對(duì)于所述二維圖像的運(yùn)動(dòng)補(bǔ)償，得到運(yùn)動(dòng)補(bǔ)償結(jié)果，包括：

確定所述二維圖像與所述三維圖像兩者的時(shí)間戳之差；

確定在所述第一傳感器檢測(cè)得到所述三維圖像時(shí)，所述三維圖像中標(biāo)注目標(biāo)的移動(dòng)速度；

根據(jù)所述移動(dòng)速度與所述時(shí)間戳之差的乘積，確定運(yùn)動(dòng)補(bǔ)償量；

根據(jù)所述三維圖像中標(biāo)注目標(biāo)的位置與所述運(yùn)動(dòng)補(bǔ)償量，確定所述運(yùn)動(dòng)補(bǔ)償結(jié)果。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其中，所述方法還包括：

將所述二維圖像和所述三維圖像，以及所述二維圖像和所述三維圖像中，所述關(guān)聯(lián)目標(biāo)的標(biāo)注數(shù)據(jù)和所述關(guān)聯(lián)目標(biāo)的關(guān)聯(lián)信息，確定為用于檢測(cè)圖像的深度神經(jīng)網(wǎng)絡(luò)的一個(gè)訓(xùn)練樣本的樣本信息，其中，所述關(guān)聯(lián)信息用于指示所述三維圖像與所述二維圖像中的所述關(guān)聯(lián)目標(biāo)之間的關(guān)聯(lián)關(guān)系。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述深度神經(jīng)網(wǎng)絡(luò)通過以下方式訓(xùn)練得到：

將所述二維圖像，以及所述三維圖像輸入所述深度神經(jīng)網(wǎng)絡(luò)，得到從所述深度神經(jīng)網(wǎng)絡(luò)輸出的對(duì)所述關(guān)聯(lián)目標(biāo)的位置的預(yù)測(cè)結(jié)果，其中，所述預(yù)測(cè)結(jié)果包括所述關(guān)聯(lián)目標(biāo)在所述二維圖像中的二維位置，以及所述關(guān)聯(lián)目標(biāo)在所述第二傳感器的坐標(biāo)系中的三維位置；

將所述關(guān)聯(lián)信息和所述關(guān)聯(lián)目標(biāo)的標(biāo)注數(shù)據(jù)作為期望預(yù)測(cè)結(jié)果，并基于所述預(yù)測(cè)結(jié)果和所述期望預(yù)測(cè)結(jié)果，訓(xùn)練所述深度神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的所述深度神經(jīng)網(wǎng)絡(luò)。