[發(fā)明專利]基于圖像與語音識別的多信息融合車輛避險系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202211324965.7
• 申請日: 2022-10-27
• 公開（公告）號: CN115556746A
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計）人: 林志偉;莫意峰;朱斯琪;易永耀;李杰文;夏清沛;張恒
• 申請（專利權(quán)）人: 林志偉
• 主分類號: B60W30/095
• 分類號: B60W30/095;B60W30/09;B60W30/18;B60W50/14;B60W50/00;G08G1/16;G10L15/22;G06V20/58;G06V20/59
• 代理公司: 福州元創(chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 陳明鑫;蔡學(xué)俊

1.一種基于圖像與語音識別的多信息融合車輛避險系統(tǒng)，其特征在于，包括信息采集子系統(tǒng)、決策子系統(tǒng)和機械執(zhí)行子系統(tǒng)，三個子系統(tǒng)協(xié)同工作，實現(xiàn)智能車輛避障；

所述信息采集子系統(tǒng)，包括：

1)前后方圖像模塊，用于實時采集車前后方路況圖像，并通過人工智能(AI)算法識別有無行人或其他障礙物；

2)激光雷達模塊，掃描車輛周圍環(huán)境，通過建立周圍環(huán)境的點云模型，與前后方圖像模塊一起對四周情況進行綜合判斷；

3)多車輛協(xié)同障礙物輔助判斷系統(tǒng)，用于實現(xiàn)所有車輛在探測自身環(huán)境周圍障礙物的基礎(chǔ)上，若檢測到該障礙物同時可能對路面其他同車型車輛造成威脅時，會將預(yù)警信號發(fā)送其他車輛，協(xié)助其他車輛進行障礙物識別；其他車輛收到預(yù)警信號，會將該預(yù)警信號作為輔助研判條件，結(jié)合自身障礙物識別信息，利用AI算法對車輛行駛過程進行輔助干預(yù)；

4)傳感器模塊，用于采集包括車輛速度、剎車/油門動作、駕駛員異常聲音、道路限速信息；

5)顯示模塊，顯示車子周圍的點云情況，顯示車子與周圍障礙物之間的距離，輔助司機窄路會車；

所述決策子系統(tǒng)將信息采集子系統(tǒng)采集到的多項信息融合起來并根據(jù)優(yōu)化后的算法進行車輛控制決策；

所述機械執(zhí)行子系統(tǒng)包括剎車、油門執(zhí)行器和安全急停按鈕或開關(guān)，由決策子系統(tǒng)控制。

2.根據(jù)權(quán)利要求1所述的基于圖像與語音識別的多信息融合車輛避險系統(tǒng)，其特征在于，所述信息采集子系統(tǒng)還包括駕駛員監(jiān)控攝像頭，用于識別駕駛員駕駛狀態(tài)，若識別發(fā)現(xiàn)駕駛員疲勞駕駛、駕駛過程中打電話或走神，決策子系統(tǒng)會在對駕駛員提出警示的同時，根據(jù)車輛前后左右的情況對車輛進行輔助控制并通過機械執(zhí)行子系統(tǒng)適當(dāng)降低車速。

3.根據(jù)權(quán)利要求1所述的基于圖像與語音識別的多信息融合車輛避險系統(tǒng)，其特征在于，所述信息采集子系統(tǒng)還包括車頂圖像采集模塊，以識別車頂是否有高空墜物，若有落石發(fā)生在前方則決策子系統(tǒng)控制機械執(zhí)行子系統(tǒng)進行車輛急剎車、若發(fā)生在后面則決策子系統(tǒng)控制機械執(zhí)行子系統(tǒng)進行車輛加速。

4.根據(jù)權(quán)利要求1所述的基于圖像與語音識別的多信息融合車輛避險系統(tǒng)，其特征在于，所述傳感器模塊包括用于測量車輛速度的速度傳感器、用于采集剎車/油門動作的壓力傳感器、用于檢測識別駕駛員異常聲音和停車或者stop語音指令的聲音傳感器、用于識別道路限速信息的地圖識別模塊。

5.根據(jù)權(quán)利要求4所述的基于圖像與聲音識別的多信息融合車輛避險系統(tǒng)，其特征在于，所述速度傳感器為霍爾傳感器。