[發(fā)明專利]基于9軸傳感器的駕駛行為視覺感知裝置及方法

有效

• 申請?zhí)枺?/td>: 202011625748.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112698660B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設計）人: 劉亦安;曹博聞;蔣燚通;徐平;祝磊;嚴明;薛凌云
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06V20/56;G06V10/762;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

本發(fā)明公開基于9軸傳感器的駕駛行為視覺感知裝置及方法。本發(fā)明基于異源數(shù)據(jù)融合方法，結合汽車的四個方向安裝的攝像頭和9軸傳感器的數(shù)據(jù)融合來量化得到駕駛人的駕駛行為。攝像頭在車輛行駛過程中實時采集車輛周邊環(huán)境的視頻，9軸傳感器實時采集加速度數(shù)據(jù)和角速度數(shù)據(jù)。通過自學習、弱監(jiān)督學習和循環(huán)序列算法的融合來感知自身車輛的行駛風險，并給出風險的類型和風險概率。本發(fā)明提出一種基于9軸傳感器的駕駛行為感知自學習新方法，通過9軸傳感器的加速度信號和角速度信號的反饋，持續(xù)更新視頻圖像弱監(jiān)督分類模型的參數(shù)，從而達到較好的駕駛行為的識別感知效果，并判斷出駕駛員或無人駕駛系統(tǒng)的駕駛風險。

技術領域

本發(fā)明屬于無人駕駛技術領域，涉及基于9軸傳感器的駕駛行為視覺感知裝置及方法。

背景技術

隨著國內(nèi)汽車保有量的不斷增加，駕校對于駕駛水平的把控難以面面俱到，這直接導致駕駛員駕駛水平質(zhì)量不高，不良駕駛行為頻繁發(fā)生對駕駛員自身以及路人造成人身傷害甚至付出生命的代價。由于駕駛員的不良駕駛習慣和駕駛員在未知環(huán)境的情況下按照以往駕駛經(jīng)驗駕駛機動車而容易產(chǎn)生可能會造成交通事故或有造成交通事故潛在危險。隨著高級輔助駕駛技術和自動駕駛技術的出現(xiàn)，基于機器視覺的方案越來越多的用于車輛危險駕駛行為的檢測和駕駛輔助。

傳統(tǒng)的基于單目攝像頭和雙目攝像頭的駕駛行為感知裝置只能通過視覺數(shù)據(jù)來計算和判別不規(guī)范、違反交通規(guī)則、甚至違法的一系列交通行為，但受限于系統(tǒng)圖像處理的運算能力和算法的實時性，單一圖像處理的方法受環(huán)境影響非常大，魯棒性低，容易出現(xiàn)判斷錯誤。并且通過視覺圖像計算出的速度、加速度和姿態(tài)等核心指標參數(shù)精度太低，需要融合新的傳感器數(shù)據(jù)來提升駕駛行為的檢測精度。

本發(fā)明要提出的基于9軸傳感器的駕駛行為視覺感知裝置及方法基于異源數(shù)據(jù)融合方法，結合汽車的四個方向安裝的攝像頭和9軸傳感器的數(shù)據(jù)融合來量化得到駕駛人的駕駛行為。攝像頭在車輛行駛過程中實時采集車輛周邊環(huán)境的視頻，9軸傳感器實時采集加速度數(shù)據(jù)和角速度數(shù)據(jù)。通過自學習、弱監(jiān)督學習和循環(huán)序列算法(即長短期記憶神經(jīng)網(wǎng)絡模型LSTM)的融合來感知自身車輛的行駛風險，并給出風險的類型和風險概率。最后相關的視頻數(shù)據(jù)、加速度數(shù)據(jù)和風險視頻將會使用時間同步的形式融合文件，采用4G/5G/WIFI的方式傳輸?shù)皆贫舜髷?shù)據(jù)平臺進行進一步的分析、運算和保存。也可以通過手機WIFI直連的方式查看調(diào)取風險數(shù)據(jù)。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術問題至少是如何結合9軸傳感器的加速度、角速度數(shù)據(jù)和攝像頭的視頻數(shù)據(jù)對車輛駕駛行為進行感知的方法，提供一種基于弱監(jiān)督學習的方式提升駕駛行文的感知能力的駕駛風險評估方法。

本發(fā)明方法具體包括以下步驟：

步驟(1)、9軸傳感器實時采集行駛過程中車輛的加速度和角速度數(shù)據(jù)，并對其進行預處理，得到x-y方向的加速度和角速度數(shù)據(jù)；其中預處理采用卡爾曼濾波和滑動平均濾波串聯(lián)的方式。

步驟(2)、車身周圍攝像頭實時采集周邊視頻，提取圖像信息。

步驟(3)、采用弱監(jiān)督深度學習方式，利用特征提取、聚類和混淆矩陣判別相結合的方式實現(xiàn)9軸傳感器的數(shù)據(jù)和視頻數(shù)據(jù)融合，并對駕駛行為的判別，具體過程如下：

3.1將步驟(2)圖像輸入到resnet模型獲取圖像的特征信息；其中resnet模型的輸入為步驟(2)圖片數(shù)據(jù)，輸出為一維特征向量。

3.2采用4個LSTM(Long Short-Term Memory，長短期記憶神經(jīng)網(wǎng)絡)模型以實現(xiàn)對四種不同駕駛行為的分類；再對LSTM1至LSTM3輸出分類結果和步驟(1)預處理后的加速度和角速度進行時序同步，然后利用混淆矩陣計算靈敏度和精度指標，最后判斷精度或靈敏度指標是否小于閾值，若是則LSTM1至LSTM3進入自訓練流程；反之則觸發(fā)LSTM1至LSTM3；

LSTM1模型的輸入是步驟3.1輸出的特征向量，輸出是急加速和非急加速的分類。