[發(fā)明專利]用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置有效
| 申請?zhí)枺?/td> | 202010162070.2 | 申請日: | 2020-03-10 |
| 公開(公告)號: | CN111401423B | 公開(公告)日: | 2023-05-26 |
| 發(fā)明(設(shè)計)人: | 唐偉康;王軍;張曄 | 申請(專利權(quán))人: | 北京百度網(wǎng)訊科技有限公司 |
| 主分類號: | G06V10/75 | 分類號: | G06V10/75;G06V10/82;G06N3/08;G06T7/70 |
| 代理公司: | 北京英賽嘉華知識產(chǎn)權(quán)代理有限責任公司 11204 | 代理人: | 王達佐;馬曉亞 |
| 地址: | 100085 北京市*** | 國省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 用于 自動 駕駛 車輛 數(shù)據(jù)處理 方法 裝置 | ||
本申請實施例公開了用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置。方法的一具體實施方式包括:獲取第一傳感器采集的三維圖像的標注數(shù)據(jù),以及獲取多個第二傳感器分別采集的二維圖像的標注數(shù)據(jù);在每個第二傳感器采集的二維圖像的標注數(shù)據(jù),與三維圖像的標注數(shù)據(jù)之中,確定出相同的標注目標作為具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標;在二維圖像的標注目標中,將與三維圖像的同一個標注目標具有關(guān)聯(lián)關(guān)系的標注目標,確定為目標關(guān)聯(lián)目標;生成該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息。本申請實施例能夠?qū)崿F(xiàn)自動駕駛車輛中,傳感器采集的二維圖像的自動關(guān)聯(lián),這樣,基于關(guān)聯(lián)得到的二維圖像生成訓(xùn)練樣本,可以提高生成訓(xùn)練樣本的準確度和效率。
技術(shù)領(lǐng)域
本申請實施例涉及計算機技術(shù)領(lǐng)域,具體涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域,尤其涉及用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置。
背景技術(shù)
在無人車駕駛系統(tǒng)中,視覺感知系統(tǒng)有著具足輕重的地位。視覺感知系統(tǒng)可以基于深度學(xué)習模型進行環(huán)境感知與目標檢測等。比如,視覺感知系統(tǒng)可以包括攝像頭、雷達等等。
在現(xiàn)有技術(shù)中,為了進行更加準確的視覺感知,采用了不止一路傳感器獲取數(shù)據(jù)。并且,利用大量的樣本對該模型進行訓(xùn)練,也可以進一步提高深度學(xué)習模型感知的準確度。
發(fā)明內(nèi)容
本申請實施例提出了用于自動駕駛車輛的數(shù)據(jù)處理方法和裝置。
第一方面,本申請實施例提供了一種用于自動駕駛車輛的數(shù)據(jù)處理方法,自動駕駛車輛包括第一傳感器和多個第二傳感器,方法包括:獲取第一傳感器采集的三維圖像的標注數(shù)據(jù),以及獲取多個第二傳感器分別采集的二維圖像的標注數(shù)據(jù),其中,三維圖像和二維圖像兩者的時間戳之差的絕對值小于預(yù)設(shè)時長;在每個第二傳感器采集的二維圖像的標注數(shù)據(jù),與三維圖像的標注數(shù)據(jù)之中,確定出相同的標注目標作為具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標;在多個第二傳感器采集的二維圖像的關(guān)聯(lián)目標中,將與三維圖像的同一個標注目標具有關(guān)聯(lián)關(guān)系的關(guān)聯(lián)目標,確定為目標關(guān)聯(lián)目標;對于所確定的目標關(guān)聯(lián)目標中的每一個目標關(guān)聯(lián)目標,生成該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息,其中,關(guān)聯(lián)信息用于指示至少兩個二維圖像中的該目標關(guān)聯(lián)目標之間的關(guān)聯(lián)關(guān)系。
在一些實施例中,方法還包括:對于所確定目標關(guān)聯(lián)目標中的每一個目標關(guān)聯(lián)目標,將至少兩個二維圖像中的每個二維圖像中的該目標關(guān)聯(lián)目標反投影到三維空間中,得到反投影結(jié)果;判斷反投影結(jié)果與三維圖像中的該目標關(guān)聯(lián)目標的位置是否匹配;若不匹配,則撤銷該二維圖像中的該目標關(guān)聯(lián)目標與其它二維圖像的該目標關(guān)聯(lián)目標的關(guān)聯(lián)關(guān)系。
在一些實施例中,判斷反投影結(jié)果與三維圖像中的該目標關(guān)聯(lián)目標的位置是否匹配,包括:在三維空間中,確定反投影結(jié)果所對應(yīng)的區(qū)域與三維圖像中的該目標關(guān)聯(lián)目標對應(yīng)的區(qū)域之間的交并比;若交并比大于或等于預(yù)設(shè)閾值,則確定反投影結(jié)果與三維圖像中的該目標關(guān)聯(lián)目標的位置匹配;若交并比小于預(yù)設(shè)閾值,則確定反投影結(jié)果與三維圖像中的該目標關(guān)聯(lián)目標的位置不匹配。
在一些實施例中,方法還包括:對于所確定的目標關(guān)聯(lián)目標中的每一個目標關(guān)聯(lián)目標,基于該目標關(guān)聯(lián)目標所對應(yīng)的至少兩個二維圖像,以及該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息,確定用于檢測圖像的深度神經(jīng)網(wǎng)絡(luò)的一個訓(xùn)練樣本。
在一些實施例中,對于所確定的目標關(guān)聯(lián)目標中的每一個目標關(guān)聯(lián)目標,基于該目標關(guān)聯(lián)目標所對應(yīng)的至少兩個二維圖像,以及該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息,確定用于檢測圖像的深度神經(jīng)網(wǎng)絡(luò)的一個訓(xùn)練樣本,包括:將該目標關(guān)聯(lián)目標所對應(yīng)的至少兩個二維圖像、該目標關(guān)聯(lián)目標所對應(yīng)的至少兩個二維圖像中目標關(guān)聯(lián)目標的標注數(shù)據(jù),以及該目標關(guān)聯(lián)目標在所對應(yīng)的至少兩個二維圖像中的關(guān)聯(lián)信息,確定為一個訓(xùn)練樣本。
在一些實施例中,深度神經(jīng)網(wǎng)絡(luò)通過以下方式訓(xùn)練得到:將一個訓(xùn)練樣本中的至少兩個二維圖像輸入深度神經(jīng)網(wǎng)絡(luò),得到從深度神經(jīng)網(wǎng)絡(luò)輸出的對該目標關(guān)聯(lián)目標的位置的預(yù)測結(jié)果;將一個訓(xùn)練樣本中,該目標關(guān)聯(lián)目標的標注數(shù)據(jù)以及關(guān)聯(lián)信息作為期望預(yù)測結(jié)果,基于輸出的預(yù)測結(jié)果以及期望預(yù)測結(jié)果,訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),得到訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京百度網(wǎng)訊科技有限公司,未經(jīng)北京百度網(wǎng)訊科技有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202010162070.2/2.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。





