[發(fā)明專利]一種自動(dòng)駕駛汽車多源異構(gòu)感知數(shù)據(jù)融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210548591.0
• 申請(qǐng)日: 2022-05-20
• 公開（公告）號(hào): CN114912532B
• 公開（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 冷甦鵬;吳耘野;李天揚(yáng);張科
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06F18/25
• 分類號(hào): G06F18/25;G06F18/241;G06N3/006;G06N5/02;G06N20/00
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

本發(fā)明公開一種自動(dòng)駕駛汽車多源異構(gòu)感知數(shù)據(jù)融合方法，應(yīng)用于自動(dòng)駕駛系統(tǒng)環(huán)境感知領(lǐng)域，針對(duì)目前的感知融合策略沒有在時(shí)延和感知范圍取得平衡，導(dǎo)致要么系統(tǒng)時(shí)延，要么感知覆蓋范圍或感知精準(zhǔn)度下降；本發(fā)明通過將區(qū)域內(nèi)的所有自動(dòng)駕駛車輛依據(jù)感知能力，以最低本地計(jì)算時(shí)延和最大感知覆蓋率為目標(biāo)，劃分為感知車輛集合和計(jì)算車輛集合，感知車輛之間通過廣播中間特征圖的方式，實(shí)現(xiàn)共享多視角的感知結(jié)果，并在基于知識(shí)蒸餾的異構(gòu)感知融合策略下進(jìn)行協(xié)作融合，同時(shí)對(duì)點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)采用自注意力機(jī)制進(jìn)行多尺度特征融合。計(jì)算過程中產(chǎn)生的復(fù)雜計(jì)算任務(wù)將以任務(wù)卸載的形式分發(fā)給鄰近的計(jì)算車輛進(jìn)行輔助計(jì)算。

技術(shù)領(lǐng)域

本發(fā)明屬于自動(dòng)駕駛系統(tǒng)環(huán)境感知領(lǐng)域，特別涉及一種感知融合技術(shù)。

背景技術(shù)

自動(dòng)駕駛汽車作為一種智能汽車，搭載了用于感知環(huán)境的各類傳感器、用于決策和數(shù)據(jù)處理的計(jì)算模塊等，有助于保障出行安全、減少交通事故、提高運(yùn)輸效率。而自動(dòng)駕駛系統(tǒng)一般由感知層、決策層和執(zhí)行層構(gòu)成，其中感知層通過各類車載外部感知傳感器收集車周邊環(huán)境信息，如激光雷達(dá)LiDAR、攝像頭、GPS、毫米波雷達(dá)都是常見的感知設(shè)備。如果沒有對(duì)環(huán)境的正確認(rèn)識(shí)，自動(dòng)駕駛汽車將無法實(shí)現(xiàn)正確的控制以及后續(xù)調(diào)度、決策模塊的計(jì)算進(jìn)行。而單個(gè)自動(dòng)駕駛汽車無法應(yīng)對(duì)單一視野和極端天氣影響：?jiǎn)屋v自動(dòng)駕駛汽車受視野遮擋和極端天氣影響，影響了自動(dòng)駕駛汽車的感知范圍和感知精準(zhǔn)度進(jìn)而影響了安全性。多輛自動(dòng)駕駛汽車協(xié)同感知可以擴(kuò)大感知范圍，但是目前的研究集中在使用同類型傳感器產(chǎn)生的感知數(shù)據(jù)，忽視了自動(dòng)駕駛汽車配備的多類型傳感器產(chǎn)生數(shù)據(jù)的互補(bǔ)性。為此需要設(shè)計(jì)一種多車協(xié)同、多類型感知數(shù)據(jù)互補(bǔ)，從而擴(kuò)大感知覆蓋范圍的融合策略。

多源異構(gòu)的定義為對(duì)多輛CAV上的多種傳感器所產(chǎn)生的感知數(shù)據(jù)進(jìn)行融合，Wang在《V2vnet:Vehicle-to-vehicle?communication?for?joint?perception?andpredictio》提出了V2VNet，使用了自動(dòng)駕駛的3D點(diǎn)云數(shù)據(jù)，將車與車的消息傳遞應(yīng)用在了空間感知圖神經(jīng)網(wǎng)絡(luò)上，應(yīng)用于自動(dòng)駕駛中的聯(lián)合感知和三維目標(biāo)檢測(cè)框的預(yù)測(cè)上。但是資源受限的自動(dòng)駕駛汽車不能搭載計(jì)算密集型的復(fù)雜深度學(xué)習(xí)網(wǎng)絡(luò)：?jiǎn)屋v自動(dòng)駕駛汽車作為邊緣設(shè)備，在多源異構(gòu)場(chǎng)景下的大量數(shù)據(jù)和計(jì)算任務(wù)下難以實(shí)時(shí)得出感知結(jié)果，進(jìn)而影響整個(gè)自動(dòng)駕駛系統(tǒng)的安全性。為此需要設(shè)計(jì)一種高效簡(jiǎn)單的輕量級(jí)學(xué)習(xí)網(wǎng)絡(luò)或者對(duì)復(fù)雜網(wǎng)絡(luò)進(jìn)行壓縮設(shè)計(jì)。

目前的感知融合策略沒有在時(shí)延和感知范圍取得平衡：現(xiàn)有的感知融合策略為了擴(kuò)大感知覆蓋范圍，以減少盲區(qū)，會(huì)增加數(shù)據(jù)量或者增加計(jì)算的復(fù)雜度，從而導(dǎo)致系統(tǒng)時(shí)延的上升；另一方面，為了降低時(shí)延以滿足自動(dòng)駕駛的實(shí)時(shí)性，可以減少系統(tǒng)內(nèi)計(jì)算任務(wù)的產(chǎn)生，但是將導(dǎo)致感知覆蓋范圍或感知精準(zhǔn)度的下降。為此需要設(shè)計(jì)一種能夠平衡感知覆蓋范圍和系統(tǒng)時(shí)延的方法，使得能夠?qū)崿F(xiàn)快速高效的融合。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明提出一種使用任務(wù)卸載優(yōu)化的自動(dòng)駕駛汽車多源異構(gòu)感知數(shù)據(jù)融合方法，能夠平衡感知覆蓋范圍和系統(tǒng)時(shí)延，從而實(shí)現(xiàn)快速高效的融合。

本發(fā)明采用的技術(shù)方案為：一種使用任務(wù)卸載優(yōu)化的自動(dòng)駕駛汽車多源異構(gòu)感知數(shù)據(jù)融合方法，包括：

A1：自動(dòng)駕駛汽車將其位置信息和感知能力周期性通告給其所在區(qū)域內(nèi)的RSU；

A2：RSU根據(jù)收到的信息，通過自動(dòng)駕駛汽車多次檢測(cè)結(jié)果的平均準(zhǔn)確度來維護(hù)一個(gè)對(duì)應(yīng)該自動(dòng)駕駛汽車的感知置信度，結(jié)合感知能力，以最低系統(tǒng)時(shí)延和最大感知覆蓋率為目標(biāo)，將區(qū)域內(nèi)的所有自動(dòng)駕駛汽車劃分為感知車輛集合和計(jì)算車輛集合；

A3：感知車輛集合中的自動(dòng)駕駛汽車通過感知設(shè)備對(duì)周圍的環(huán)境進(jìn)行感知，產(chǎn)生原始感知數(shù)據(jù)；

A4：對(duì)原始感知數(shù)據(jù)進(jìn)行處理；

A5：感知車輛集合中的自動(dòng)駕駛車輛基于知識(shí)蒸餾的感知數(shù)據(jù)融合策略，根據(jù)步驟A4處理后的感知數(shù)據(jù)，得到對(duì)應(yīng)的多視角的局部結(jié)果；