[發(fā)明專利]融合緊急車輛音頻和視覺檢測的機(jī)器學(xué)習(xí)模型

在審

• 申請?zhí)枺?/td>: 202111286978.5
• 申請日: 2021-11-02
• 公開（公告）號: CN113799789A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設(shè)計）人: 許珂誠;孫宏藝;羅琦;王為;林澤俊;雷諾茲·韋斯利;劉峰;胡江滔;繆景皓
• 申請（專利權(quán)）人: 百度（美國）有限責(zé)任公司
• 主分類號: B60W50/00
• 分類號: B60W50/00;B60W60/00
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;王艷春

根據(jù)各種實施方式，描述了用于操作自動駕駛車輛(ADV)的系統(tǒng)、方法和介質(zhì)。實施方式使用多個機(jī)器學(xué)習(xí)模型分別從由安裝在ADV上的傳感器捕獲的音頻數(shù)據(jù)和視覺數(shù)據(jù)中提取特征，然后融合提取的這些特征以創(chuàng)建級聯(lián)特征向量。級聯(lián)特征向量被提供到多層感知器(MLP)作為輸入，以產(chǎn)生與周圍環(huán)境中是否存在緊急車輛相關(guān)的檢測結(jié)果。ADV可使用檢測結(jié)果來采取適當(dāng)?shù)男袆右宰袷禺?dāng)?shù)氐慕煌ㄒ?guī)則。

技術(shù)領(lǐng)域

本公開的實施方式總體上涉及操作自動駕駛車輛。更具體地，本公開的實施方式涉及融合來自多個源的用于緊急車輛檢測的傳感器數(shù)據(jù)。

背景技術(shù)

以自動駕駛模式運(yùn)行(例如，無人駕駛)的車輛可將乘員、尤其是駕駛員從一些駕駛相關(guān)的職責(zé)中解放出來。當(dāng)以自動駕駛模式運(yùn)行時，車輛可使用車載傳感器導(dǎo)航到各個位置，從而允許車輛在最少人機(jī)交互的情況下或在沒有任何乘客的一些情況下行駛。

當(dāng)檢測到緊急車輛(例如，警車、消防車和救護(hù)車)在道路上時，ADV需要采取適當(dāng)?shù)男袆右宰袷禺?dāng)?shù)氐慕煌ㄒ?guī)則。因此，準(zhǔn)確檢測ADV周圍環(huán)境中的緊急車輛對行駛中的ADV至關(guān)重要，使得AVD不必進(jìn)行不必要的停車。一種提高檢測準(zhǔn)確性的方法是使用來自多個源的信息(例如，來自ADV上的傳感器的圖像和語音)來消除單個源的不穩(wěn)定性。這種方法需要融合來自多個源的信息。

發(fā)明內(nèi)容

本申請的一個方面提供了這樣用于操作自動駕駛車輛(ADV)的計算機(jī)實施的方法，方法包括：

在ADV上的自動駕駛系統(tǒng)(ADS)處接收音頻信號流和圖像幀序列，音頻信號流是安裝在ADV上的一個或多個音頻捕獲裝置從ADV的周圍環(huán)境中捕獲的，圖像幀序列是使用安裝在ADV上的一個或多個圖像捕獲裝置從ADV的周圍環(huán)境中捕獲的；

由ADS從所捕獲的音頻信號流中提取第一特征向量，以及從所捕獲的圖像幀序列中提取第二特征向量；

由ADS將第一特征向量和第二特征向量級聯(lián)以創(chuàng)建級聯(lián)特征向量；以及

基于級聯(lián)特征向量，通過ADS使用第一神經(jīng)網(wǎng)絡(luò)模型來確定在ADV的周圍環(huán)境中存在緊急車輛。

本申請的另一個方面提供了這樣一種具有存儲在其中的指令的非暫時性機(jī)器可讀介質(zhì)，指令在由處理器執(zhí)行時使處理器執(zhí)行操作自動駕駛車輛(ADV)的操作，操作包括：

在ADV上的自動駕駛系統(tǒng)(ADS)處接收音頻信號流和圖像幀序列，音頻信號流是安裝在ADV上的一個或多個音頻捕獲裝置從ADV的周圍環(huán)境中捕獲的，圖像幀序列是使用安裝在ADV上的一個或多個圖像捕獲裝置從ADV的周圍環(huán)境中捕獲的；

由ADS從所捕獲的音頻信號流中提取第一特征向量，以及從所捕獲的圖像幀序列中提取第二特征向量；

由ADS將第一特征向量和第二特征向量級聯(lián)以創(chuàng)建級聯(lián)特征向量；以及

基于級聯(lián)特征向量，通過ADS使用第一神經(jīng)網(wǎng)絡(luò)模型來確定在ADV的周圍環(huán)境中存在緊急車輛。

本申請的另一個方面提供了這樣一種數(shù)據(jù)處理系統(tǒng)，包括：

處理器；以及

存儲器，與處理器聯(lián)接以存儲指令，指令在由處理器執(zhí)行時使處理器執(zhí)行操作自動駕駛車輛(ADV)的操作，操作包括：

在ADV上的自動駕駛系統(tǒng)(ADS)處接收音頻信號流和圖像幀序列，音頻信號流是安裝在ADV上的一個或多個音頻捕獲裝置從ADV的周圍環(huán)境中捕獲的，圖像幀序列是使用安裝在ADV上的一個或多個圖像捕獲裝置從ADV的周圍環(huán)境中捕獲的；

由ADS從所捕獲的音頻信號流中提取第一特征向量，以及從所捕獲的圖像幀序列中提取第二特征向量；

由ADS將第一特征向量和第二特征向量級聯(lián)以創(chuàng)建級聯(lián)特征向量；以及