[發(fā)明專(zhuān)利]緊急車(chē)輛音頻和視覺(jué)檢測(cè)后融合

在審

• 申請(qǐng)?zhí)枺?/td>: 202111649429.X
• 申請(qǐng)日: 2021-12-30
• 公開(kāi)（公告）號(hào): CN114379590A
• 公開(kāi)（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 許珂誠(chéng);孫宏藝;羅琦;王為;林澤俊;雷諾茲衛(wèi)斯理;劉峰;胡江滔;繆景皓
• 申請(qǐng)（專(zhuān)利權(quán)）人: 百度(美國(guó))有限責(zé)任公司
• 主分類(lèi)號(hào): B60W60/00
• 分類(lèi)號(hào): B60W60/00;B60W40/00;B60W50/00
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 杜月

1.一種緊急車(chē)輛檢測(cè)的方法，所述方法包括：

在自主駕駛車(chē)輛ADV上的自主駕駛系統(tǒng)ADS處接收從ADV的周?chē)h(huán)境使用安裝在ADV上的一個(gè)或多個(gè)音頻獲取設(shè)備獲取的音頻信號(hào)流和使用安裝在ADV上的一個(gè)或多個(gè)圖像獲取設(shè)備獲取的圖像幀序列；

使用第一神經(jīng)網(wǎng)絡(luò)模型通過(guò)ADS確定獲取的音頻信號(hào)流的至少一部分來(lái)自警笛聲的第一概率；

使用第二神經(jīng)網(wǎng)絡(luò)模型通過(guò)ADS確定圖像幀序列中的至少一個(gè)圖像幀來(lái)自緊急車(chē)輛的第二概率；以及

基于第一概率和第二概率通過(guò)ADS確定周?chē)h(huán)境中存在緊急車(chē)輛。

2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

使用第一神經(jīng)網(wǎng)絡(luò)模型，確定ADV與警笛聲源的夾角以及聲源的移動(dòng)方向；以及

使用第二神經(jīng)網(wǎng)絡(luò)模型，基于圍繞至少一個(gè)圖像幀的邊界框的大小以及用于獲取至少一個(gè)圖像幀的圖像獲取設(shè)備的一個(gè)或多個(gè)外部參數(shù)，確定ADV和緊急車(chē)輛之間的距離。

3.根據(jù)權(quán)利要求2所述的方法，其中，在以下情況下確定緊急車(chē)輛存在于周?chē)h(huán)境中：

第一概率超過(guò)第一閾值；

第二概率超過(guò)第二閾值；或者

第一概率超過(guò)第一閾值，以及第二概率超過(guò)第二閾值。

4.根據(jù)權(quán)利要求3所述的方法，進(jìn)一步包括：

響應(yīng)于確定周?chē)h(huán)境中存在緊急車(chē)輛，融合警笛聲源與ADV的夾角、聲源的移動(dòng)方向以及從車(chē)輛到ADV的距離來(lái)確定緊急車(chē)輛的位置和緊急車(chē)輛的移動(dòng)方向。

5.根據(jù)權(quán)利要求4所述的方法，進(jìn)一步包括：

響應(yīng)于確定ADV的位置，基于緊急車(chē)輛的位置和移動(dòng)方向控制ADV，包括將ADV從當(dāng)前行駛車(chē)道轉(zhuǎn)向或制動(dòng)ADV以減速中的至少一種。

6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其中，所述第一神經(jīng)網(wǎng)絡(luò)模型利用表示從多個(gè)緊急車(chē)輛收集的緊急車(chē)輛警笛的音頻數(shù)據(jù)被訓(xùn)練，并且其中所述第二神經(jīng)網(wǎng)絡(luò)模型利用與所述音頻數(shù)據(jù)的收集同時(shí)收集的視覺(jué)數(shù)據(jù)被訓(xùn)練。

7.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其中第一神經(jīng)網(wǎng)絡(luò)模型和第二神經(jīng)網(wǎng)絡(luò)模型中的每一個(gè)是卷積神經(jīng)網(wǎng)絡(luò)。

8.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其中，所述一個(gè)或多個(gè)音頻獲取設(shè)備包括一個(gè)或多個(gè)麥克風(fēng)，并且其中所述一個(gè)或多個(gè)圖像獲取設(shè)備包括一個(gè)或多個(gè)相機(jī)。

9.一種具有存儲(chǔ)在其中的指令的非暫時(shí)性機(jī)器可讀介質(zhì)，當(dāng)由處理器執(zhí)行時(shí)，所述指令使所述處理器執(zhí)行如權(quán)利要求1-8中任一項(xiàng)所述的緊急車(chē)輛檢測(cè)的方法的操作。

10.一種數(shù)據(jù)處理系統(tǒng)，包括：

處理器；以及

耦接到處理器且存儲(chǔ)指令的存儲(chǔ)器，當(dāng)指令被處理器執(zhí)行時(shí)，使處理器執(zhí)行如權(quán)利要求1-8中任一項(xiàng)所述的緊急車(chē)輛檢測(cè)的方法的操作。

11.一種緊急車(chē)輛檢測(cè)系統(tǒng)，包括：

傳感器系統(tǒng)，包括音頻傳感器和視覺(jué)傳感器，所述音頻傳感器安裝在自主駕駛車(chē)輛ADV上并用于從ADV的周?chē)h(huán)境獲取音頻信號(hào)流，所述視覺(jué)傳感器安裝在ADV上并用于從ADV的周?chē)h(huán)境獲取圖像幀序列；

音頻子模塊，用于使用第一神經(jīng)網(wǎng)絡(luò)模型確定獲取的音頻信號(hào)流的至少一部分來(lái)自警笛聲的第一概率；

視覺(jué)子模塊，用于使用第二神經(jīng)網(wǎng)絡(luò)模型確定圖像幀序列中的至少一個(gè)圖像幀來(lái)自緊急車(chē)輛的第二概率；

后融合組件，用于基于第一概率和第二概率確定周?chē)h(huán)境中存在緊急車(chē)輛。

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中

所述音頻子模塊用于使用第一神經(jīng)網(wǎng)絡(luò)模型，確定ADV與警笛聲源的夾角以及聲源的移動(dòng)方向；以及

所述視覺(jué)子模塊用于使用第二神經(jīng)網(wǎng)絡(luò)模型，基于圍繞至少一個(gè)圖像幀的邊界框的大小以及用于獲取至少一個(gè)圖像幀的視覺(jué)傳感器的一個(gè)或多個(gè)外部參數(shù)，確定ADV和緊急車(chē)輛之間的距離。