[發(fā)明專利]基于視覺感知的駕駛風(fēng)險(xiǎn)預(yù)警裝置及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011182851.4
• 申請(qǐng)日: 2020-10-29
• 公開（公告）號(hào): CN112382115B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 劉亦安;吳東旭;徐平;祝磊;嚴(yán)明;薛凌云
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G08G1/0967
• 分類號(hào): G08G1/0967;G08G1/16;H04N5/225;H04L29/08;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱亞冠

1.基于視覺感知的駕駛風(fēng)險(xiǎn)預(yù)警方法，其特征在于該方法包括以下步驟：

步驟(1)、在汽車行駛過程中，攝像頭實(shí)時(shí)采集周邊視頻；

攝像頭采集到的視頻分別經(jīng)過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信息序列；

步驟(2)、將步驟(1)圖像輸入到混合深度學(xué)習(xí)模型獲取風(fēng)險(xiǎn)評(píng)估結(jié)果；混合深度學(xué)習(xí)模型包括VGG網(wǎng)絡(luò)、faster-rcnn網(wǎng)絡(luò)、第一LSTM網(wǎng)絡(luò)、第二LSTM網(wǎng)絡(luò)；具體是：

2.1 VGG網(wǎng)絡(luò)的輸入為步驟(1)圖像，輸出為圖像特征序列；

2.2 faster-rcnn網(wǎng)絡(luò)的輸入為VGG網(wǎng)絡(luò)輸出的圖像特征序列，輸出為周邊車輛的對(duì)應(yīng)位置；

2.3第一LSTM網(wǎng)絡(luò)的輸入為每個(gè)周邊車輛在每一幀圖像中的相對(duì)風(fēng)險(xiǎn)系數(shù)，輸出為每個(gè)周邊車輛的風(fēng)險(xiǎn)結(jié)果P_{周邊車輛j}；

所述的每個(gè)周邊車輛在每一幀圖像中的相對(duì)風(fēng)險(xiǎn)系數(shù)由faster-rcnn網(wǎng)絡(luò)輸出的周邊車輛的對(duì)應(yīng)位置與風(fēng)險(xiǎn)估計(jì)矩陣相乘所得；

其中表示風(fēng)險(xiǎn)估計(jì)矩陣，由所有的周邊車輛相關(guān)風(fēng)險(xiǎn)系數(shù)組成，w_ij表示了周邊車輛中第j輛車對(duì)于第i輛車的風(fēng)險(xiǎn)影響的權(quán)重大??；obj_i表示第i輛周邊車輛的位置，res_i表示第i輛周邊車輛的相對(duì)風(fēng)險(xiǎn)系數(shù)，n表示矩陣大??；

2.4第二LSTM網(wǎng)絡(luò)的輸入為VGG網(wǎng)絡(luò)輸出的圖像特征序列，輸出為自身車輛的駕駛行為分類，包括實(shí)線變道、虛線變道、跟車過近、變道超車、正常行駛；

步驟(3)、考慮結(jié)合車身CAN數(shù)據(jù)總線獲取的轉(zhuǎn)向燈狀態(tài)的自身車輛的駕駛行為變道風(fēng)險(xiǎn)系數(shù)，以及自身車輛的車速信息，根據(jù)公式(2)獲得自身車輛的風(fēng)險(xiǎn)結(jié)果；

P_自身車輛＝x_i*y_i 公式(2)

其中x_i表示第i種駕駛行為的變道風(fēng)險(xiǎn)系數(shù)，y_i表示第i種駕駛行為的車速風(fēng)險(xiǎn)系數(shù)，i＝1、2、3、4、5，分別表示實(shí)線變道、虛線變道、跟車過近、變道超車、正常行駛五種駕駛行為；

步驟(4)、將步驟2.3中周邊車輛的風(fēng)險(xiǎn)結(jié)果進(jìn)行從大到小的降序排序，如果最大值超過閾值且車速大于閾值，則視頻智算單元將發(fā)送報(bào)警提示消息給中控顯示屏，提示周邊車輛出現(xiàn)風(fēng)險(xiǎn)；

步驟(5)、綜合周邊車輛的風(fēng)險(xiǎn)信息和車輛自身的風(fēng)險(xiǎn)信息，根據(jù)以下公式(3)獲得綜合風(fēng)險(xiǎn)評(píng)估結(jié)果：

P_綜合＝Max(P_{周邊車輛1}，P_{周邊車輛2}，…，P_{周邊車輛N})+P_自身車輛公式(3)

步驟(6)、綜合風(fēng)險(xiǎn)評(píng)估結(jié)果傳送至實(shí)時(shí)決策處理單元，若綜合風(fēng)險(xiǎn)評(píng)估結(jié)果大于閾值，則通過CAN數(shù)據(jù)總線發(fā)送“輔助剎車請(qǐng)求”指令給車輛的整車控制器VCU；反之則不向CAN數(shù)據(jù)總線發(fā)送信息；

步驟(7)、步驟(3)自身車輛風(fēng)險(xiǎn)傳送至實(shí)時(shí)決策處理單元，若自身車輛風(fēng)險(xiǎn)大于閾值，實(shí)時(shí)決策處理單元將剎車和方向盤轉(zhuǎn)向信號(hào)以中斷信號(hào)的方式將數(shù)據(jù)傳輸給微處理器MPU；反之則實(shí)時(shí)決策處理單元持續(xù)采集車輛CAN數(shù)據(jù)。

2.如權(quán)利要求1所述的基于視覺感知的駕駛風(fēng)險(xiǎn)預(yù)警方法，其特征在于每一組數(shù)字圖像信息序列用矩陣的方式表示：

其中fig.n表示視頻序列中的第n張圖片，sequence描述了fig_num張大小為width×height的圖片組成的圖片序列。