[發明專利]基于9軸傳感器的駕駛行為視覺感知裝置及方法

有效

• 申請號: 202011625748.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112698660B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 劉亦安;曹博聞;蔣燚通;徐平;祝磊;嚴明;薛凌云
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06V20/56;G06V10/762;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

1.基于9軸傳感器的駕駛行為視覺感知方法，其特征在于包括以下步驟：

步驟(1)、9軸傳感器實時采集行駛過程中車輛的加速度和角速度數據，并對其進行預處理，得到x-y方向的加速度和角速度數據；

步驟(2)、攝像頭實時采集行駛過程中車輛周邊環境視頻，提取圖像信息；

步驟(3)、采用弱監督深度學習方式，利用特征提取、聚類和混淆矩陣判別相結合的方式實現9軸傳感器的數據和視頻數據融合，并對駕駛行為的判別，具體過程如下：

3.1將步驟(2)圖像輸入到resnet模型獲取圖像的特征信息；其中resnet模型的輸入為步驟(2)圖片數據，輸出為一維特征向量；

3.2采用4個LSTM模型以實現對四種不同駕駛行為的分類；再對LSTM1至LSTM3輸出分類結果和步驟(1)預處理后的加速度和角速度進行時序同步，然后利用混淆矩陣計算靈敏度和精度指標，最后判斷精度或靈敏度指標是否小于閾值，若是則LSTM1至LSTM3進入自訓練流程，即僅觸發LSTM4；反之則觸發LSTM1至LSTM3，即觸發LSTM1至LSTM4；

LSTM1模型的輸入是步驟3.1輸出的特征向量，輸出是急加速和非急加速的分類；

LSTM2模型的輸入是步驟3.1輸出的特征向量，輸出是急減速和非急減速的分類；

LSTM3模型的輸入是步驟3.1輸出的特征向量，輸出是急轉向和非急轉向的分類；

LSTM4模型的輸入是步驟3.1輸出的特征向量，輸出是風險變道和正常變道的分類；

3.3使用聚類算法對步驟(3)輸出的分類結果進行分類，得到跟車過近和風險變道分類結果；

步驟(4)、考慮結合車身CAN數據總線獲取的轉向燈狀態的自身車輛的駕駛行為變道風險系數，以及自身車輛的車速信息，根據公式(1)獲得自身車輛的風險結果；

Risk_i＝x_i*y_i 公式(1)

其中x_i表示第i種駕駛行為的變道風險系數，y_i表示第i種駕駛行為的車速風險系數，i＝1、2分別表示跟車過近和風險變道兩種駕駛行為；

若駕駛行為跟車過近時，

變道風險系數其中a₁為常數，根據經驗值設定；

若駕駛行為風險變道時，

變道風險系數其中a2、a3為常數，根據經驗值設定；

車速風險系數其中a4、a5、a6、a7、a8、a9為常數，根據經驗值設定；A_i表示第i駕駛行為車速風險權重系數；v表示自身車輛的當前車速；

步驟(5)、步驟(4)自身車輛風險結果傳送至實時決策處理單元，判斷自身車輛的風險結果是否大于閾值，若是則通過CAN數據總線發送“輔助剎車請求”指令給車輛的整車控制器VCU，同時實時決策處理單元將剎車和方向盤轉向信號以中斷信號的方式將數據傳輸給中央處理模塊；反之則不向CAN數據總線發送信息，同時實時決策處理單元持續采集車輛CAN數據。

2.根據權利要求1所述的方法，其特征在于步驟(1)預處理采用卡爾曼濾波和滑動平均濾波串聯的方式。

3.根據權利要求1所述的方法，其特征在于LSTM1至LSTM3的自訓練流程中損失函數采用交叉熵函數E(N_k,y_k)，使得交叉熵函數達到最小值：

混淆矩陣中真實值：N_k＝P(x_k,T_s)

其中y_k為k時刻LSTM1、LSTM2和LSTM3模型預測得到的急加速、急減速和急轉向的分類概率值，x_k為k時刻測量得到的加速度或角速度信號；T_s表示判斷急加、急減或急轉向對應的閾值a_thresh1、a_thresh2或ω_thresh；P為邏輯判斷函數。

4.根據權利要求3所述的方法，其特征在于當x_k大于T_s取1，反之取0。