[發明專利]基于深度學習的駕駛行為分析識別警示系統及其識別方法

在審

• 申請號: 202010714640.4
• 申請日: 2020-07-23
• 公開（公告）號: CN111968338A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 沈澍;楊明;劉小雨
• 申請（專利權）人: 南京郵電大學
• 主分類號: G08B21/02
• 分類號: G08B21/02;G08B21/24;G08B3/10;G01B11/24;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 向文

本發明公開了一種基于深度學習的駕駛行為分析識別警示系統及其識別方法，該系統包括具有生成深度圖像功能的相機以及數據分析模塊，所述數據分析模塊包括具有邊緣計算功能的終端設備和用于提醒播報的語音模塊，所述相機用于采集駕駛員的三維空間信息，所述終端設備用于根據采集到的駕駛員的三維空間信息分析判斷駕駛行為。本發明通過深度圖像技術、卷積神經網絡的改進、邊緣系統的設計，構建數據分析模塊，實現了對于駕駛人員與乘車人員的行為進行分析與分類，實時識別駕駛行為并且警示駕駛員，從而解決駕駛人員的疲勞駕駛，危險駕駛問題，減少因為駕駛人員行為不規范導致的交通事故的可能性，最大限度的保障出行安全。

技術領域

本發明屬于車輛乘駕行為識別領域，具體涉及一種基于深度學習的駕駛行為分析識別警示系統及其識別方法。

背景技術

隨著汽車行業的發展，車禍問題頻頻發生。如何減少車禍的頻率，提高人民的出行安全是需要重點解決的問題。同時，近年來網約車的安全問題頻發也受到了社會大眾的關注。因此，能隨時獲得駕駛員的駕駛行為變得尤其重要。隨著科技的研究，已有部分技術可以獲知駕駛員的駕駛行為，比如通過車輛自身的傳感器來獲取車輛的駕駛信息上傳。但是這種方式往往不夠準確，很多情況下，只有在事故發生后進行分析，不能在駕駛過程中為安全乘駕行為提供參考。

發明內容

發明目的：為了克服現有技術中存在的不足，提供一種基于深度學習的駕駛行為分析識別警示系統及其識別方法，其通過對Kinect所采集的深度圖像在邊緣設備上進行深度學習的方法分類識別，從而實現對駕駛人員與乘車人員進行實時監督提醒。

技術方案：為實現上述目的，本發明提供一種基于深度學習的駕駛行為分析識別警示系統，包括具有生成深度圖像功能的Azure Kinect相機以及數據分析模塊，所述數據分析模塊包括具有邊緣計算功能的終端設備Jetson Nano和用于提醒播報的語音模塊，所述相機用于采集駕駛員的三維空間信息，所述終端設備用于根據采集到的駕駛員的三維空間信息分析判斷駕駛行為。

進一步的，所述相機包括發光器件、光源驅動器、接收鏡頭、TOF傳感芯片、TOF芯片驅動器和TOF主控器，所述光源驅動器控制發光器件發光，使發光器件發出調制光信號；所述接收鏡頭用于接收調制光信號；所述接收鏡頭能夠接收到調制光照射駕駛員反射回來的回波信號，并將回波信號匯聚在TOF傳感芯片上；所述TOF傳感芯片接收匯聚的回波信號，并將光信號轉換為電信號；所述TOF芯片驅動器接收TOF傳感芯片轉換的電信號，并將電信號進行處理；所述TOF主控器與光源驅動器和TOF芯片驅動器分別連接，根據光信號發出與接收之間的時間差異，計算出駕駛員所在空間的距離信息。

進一步的，所述相機為Azure Kinect相機。

一種基于深度學習的駕駛行為分析識別警示方法，包括如下步驟：

S1：利用相機采集持續生成幀的RGB圖像以及深度圖像，將得到的圖像數據傳給數據分析模塊；

S2：將收集到的圖像數據在數據分析模塊上進行圖像的對齊分割預處理；

S3：在數據分析模塊上針對預處理完成的圖像，利用引入注意力機制的深度卷積神經網絡實現駕駛行為的多分類識別；

S4：根據識別結果，針對危險駕駛行為進行警示，通過語音模塊發出警報提醒。

進一步的，所述步驟S2中通過使用基于高斯混合模型算法的圖像分割方法對圖像進行對齊分割預處理，高斯混合模型算法即為GMM，GMM是指具有如下形式的概率分布模型：

其中，α_k是系數，φ(y|θ_k)是高斯分布密度，

稱為第k個分模型；