[發明專利]一種雙模態特征融合的駕駛員疲勞等級識別系統

在審

• 申請號: 201911401097.6
• 申請日: 2019-12-31
• 公開（公告）號: CN110781872A
• 公開（公告）日: 2020-02-11
• 發明（設計）人: 張宇;馮鵬翔;王磊;陸林
• 申請（專利權）人: 南斗六星系統集成有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G07C5/08;G06N3/08
• 代理公司: 11228 北京匯澤知識產權代理有限公司
• 代理人: 代嬋

一種雙模態特征融合的駕駛員疲勞等級識別系統，所述系統包括圖像采集模塊、面部行為識別模塊和行駛記錄儀主機，所述圖像采集模塊與行駛記錄儀主機均與面部行為識別模塊連接，所述行駛記錄儀主機還與車輛的CAN總線連接；所述圖像采集模塊用于采集駕駛員的人臉動態圖像；所述面部行為識別模塊用于從采集的所述人臉動態圖像中識別眼部閉合特征和嘴部張合特征；所述行駛記錄儀主機用于從車輛CAN總線獲取并解析車輛運行信息，通過車輛運行信息計算出駕駛行為特征，并通過眼部閉合特征、嘴部張合特征以及駕駛行為特征融合分析駕駛員疲勞等級。本發明克服了單一信息源的局限性，并充分考慮了各信息源的相關性和互補性，疲勞等級分析更加準確。

技術領域

本發明涉及疲勞駕駛預測領域，具體涉及一種雙模態特征融合的駕駛員疲勞等級識別系統。

背景技術

國家統計局數據顯示，我國近五年來每年交通事故發生次數均超過12萬起，其中貨車交通事故尤為嚴重，2016年全國共發生貨車責任道路交通事故5.04萬起，造成2.5萬人死亡、4.68萬人受傷，貨車事故率高于普通機動車輛，且造成的損失也高于平均水平。其中，因為疲勞駕駛造成的交通運輸事故每年給人民生命財產安全造成重大損失，各種研究表明，在所有道路事故中，約有20％與疲勞有關，在某些道路上高達50％。我國有關部門對貨運車輛駕駛人抽樣調查結果顯示：84%貨運車輛駕駛人日均駕駛時間超過8小時，其中40%超過12 小時，64%貨運車輛只配備了1名駕駛人。

故，疲勞駕駛檢測系統可幫助防止因駕駛員困倦而引起的事故。目前市面上單一的疲勞駕駛檢測手段存在諸多弊端，比如利用駕駛行為特征分析時，總線數據種類多、數據量大，疲勞駕駛的特征行為極難識別和提取，而且每個司機駕駛習慣不一樣，導致無法智能識別；利用面部狀態識別的方法，能夠有效識別駕駛員閉眼、打哈欠、打電話等動作，但是在艙內光線環境較差或攝像頭被遮擋時無法正常工作。

發明內容

為解決上述技術問題，本發明提供一種雙模態特征融合的駕駛員疲勞等級識別系統，結合眼部閉合特征、嘴部張合特征以及駕駛行為特征融合分析駕駛員疲勞等級，以克服單一信息源的局限性，并充分考慮了各信息源的相關性和互補性。

本發明的技術方案如下：

一種雙模態特征融合的駕駛員疲勞等級識別系統，所述系統包括圖像采集模塊、面部行為識別模塊和行駛記錄儀主機，所述圖像采集模塊與行駛記錄儀主機均與面部行為識別模塊連接，所述行駛記錄儀主機還與車輛的CAN總線連接；

所述圖像采集模塊用于采集駕駛員的人臉動態圖像；

所述面部行為識別模塊用于從采集的所述人臉動態圖像中識別眼部閉合特征和嘴部張合特征；

所述行駛記錄儀主機用于從車輛CAN總線獲取并解析車輛運行信息，通過車輛運行信息計算出駕駛行為特征，并通過眼部閉合特征、嘴部張合特征以及駕駛行為特征融合分析駕駛員疲勞等級。

其中，所述眼部閉合特征包括最長閉眼時間、眨眼頻率和閉眼時間百分比，所述嘴部張合特征包括最長嘴部張開時間、打哈欠頻率和嘴部張開時間百分比；

其中，所述行駛記錄儀主機包括車輛運行信息采集模塊和駕駛行為特征計算模塊，所述車輛運行信息采集模塊用于從車輛CAN總線獲取并解析車輛運行信息，所述駕駛行為特征計算模塊用于通過車輛運行信息計算出駕駛行為特征，其中，所述車輛運行信息包括方向盤轉角SA和方向盤轉角速度SAR，駕駛行為特征包括方向盤轉角絕對均值SAMEAN、方向盤轉角標準差SASTD、方向盤轉角下四分位值均值SAQ1MEAN、方向盤轉角上四分位值均值SAQ3MEAN、方向盤轉角熵SE、方向盤轉角速度絕對值均值SAVMEAN、方向盤轉角速度標準差SAVSTD、零速百分比PNS和累計行駛時長；

其中，所述行駛記錄儀主機還包括疲勞預測神經網絡模型，通過眼部閉合特征、嘴部張合特征以及駕駛行為特征融合分析駕駛員疲勞等級具體為：