[發明專利]一種基于視覺的駕駛行為檢測方法

有效

• 申請號: 201810560951.2
• 申請日: 2018-06-01
• 公開（公告）號: CN108960065B
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 繆其恒;陳淑君;蘇志杰;鄭皓洲;王江明;許煒
• 申請（專利權）人: 浙江零跑科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;B60W40/08
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏

一種基于視覺的駕駛行為檢測方法，包括：采集駕駛室圖像，提取人臉信息，利用深度卷積神經網絡進行人臉檢測與身份驗證，輸出人臉關鍵點位置和人臉特征圖譜；基于輸出的人臉關鍵點位置和人臉特征圖譜，進行疲勞駕駛應用檢測和分神駕駛應用檢測；基于疲勞駕駛和分神駕駛應用檢測結果，判斷駕駛員疲勞狀態和分神狀態，發出疲勞預警和分神預警信號，預警駕駛疲勞行為和駕駛分神行為，判斷并顯示駕駛疲勞等級和駕駛專注等級。本發明的一個目的在于完善駕駛員行為監測系統，對駕駛過程中的疲勞駕駛行為（包括瞌睡、哈欠、低頭）和分神駕駛行為（包括接打電話、吸煙）進行智能分析，并進行行為提示。

技術領域

本發明涉及安全駕駛技術領域，特別涉及一種基于視覺的駕駛行為檢測方法。

背景技術

中國每年發生交通事故50萬起，因交通事故死亡人數均超過10萬人。據道路交通事故數據統計，有超過半數的交通事故是由駕駛員的危險或錯誤車輛操作所導致的。然而，此類人為事故中大部分是由于疲勞駕駛所引發的，因而駕駛行為智能分析預警系統具有重要的應用價值。現有乘用車以及商用車的主動安全系統很少有涉及駕駛員行為分析與提醒的功能，尤其是對于商業運輸車輛而言，長時間以及長途駕駛導致上述疲勞駕駛的發生概率更高?，F有大部分商用營運車輛不具備功能完善的駕駛員行為監測系統，此類系統大多通過限定駕駛員的長途行車時間來避免疲勞駕駛的行為發生，部分車輛具備行車記錄以及操作記錄功能，不具備疲勞或危險駕駛行為預警系統，因而無法有效保障長途駕駛的行車安全。

近年來市場中出現的部分駕駛疲勞預警系統，或通過駕駛操縱信號(方向盤轉角以及油門、制動踏板信號)，或通過駕駛員眼部開閉程度進行疲勞駕駛行為判斷。此類系統所能預警的疲勞行為比較單一，且對于不同駕駛員的預警一致性相對較差。相對于上述系統，本發明集成包括疲勞與分神在內的不良駕駛行為檢測與預警功能，不僅豐富了疲勞駕駛的檢測狀態類別，而且添加了分神駕駛狀態的檢測，能夠有效提升商業運營車輛駕駛員不良駕駛行為的監管能力，同時降低此類行為所造成的潛在生命與財產損失。

發明內容

本發明的一個目的在于完善駕駛員行為監測系統，對駕駛過程中的疲勞駕駛行為(包括瞌睡、哈欠、低頭)和分神駕駛行為(包括接打電話、吸煙)進行智能分析，并進行行為提示，提供一種基于視覺的駕駛行為檢測方法。

本發明解決其技術問題所采用的技術方案是：一種基于視覺的駕駛行為檢測方法，包括：采集駕駛室圖像，提取人臉信息，利用深度卷積神經網絡進行人臉檢測與身份驗證，輸出人臉關鍵點位置和人臉特征圖譜；基于輸出的人臉關鍵點位置和人臉特征圖譜，進行疲勞駕駛應用檢測和分神駕駛應用檢測；基于疲勞駕駛和分神駕駛應用檢測結果，判斷駕駛員疲勞狀態和分神狀態，發出疲勞預警和分神預警信號，預警駕駛疲勞行為和駕駛分神行為，判斷并顯示駕駛疲勞等級和駕駛專注等級。

進一步地，所述深度卷積神經網絡級聯人臉檢測網絡、疲勞檢測網絡以及分神檢測網絡，輸入為駕駛室遠紅外圖像，輸出為疲勞駕駛行為、分神危險駕駛行為檢測結果；所述疲勞檢測網絡包括：瞌睡檢測網絡和哈欠行為識別網絡；所述分神檢測網絡包括接打電話行為檢測網絡和吸煙行為檢測網絡。

進一步地，所述采集駕駛室圖像，提取人臉信息，進行人臉檢測與身份驗證，包括：將采集的駕駛室圖像輸入人臉檢測網絡，輸出人臉關鍵點位置和人臉特征圖譜，將所述人臉特征圖譜與錄入的人臉信息特征圖譜庫標準對齊后，與錄入人臉庫的人臉圖像進行特征相似度匹配，進行身份驗證。

所述疲勞駕駛應用檢測包括：瞌睡、哈欠行為、低頭行為檢測，所述分神駕駛應用檢測包括：接打電話和吸煙行為檢測；

瞌睡行為檢測：對人臉特征圖譜進行眼部ROI-pooling，利用瞌睡檢測網絡進行眼部睜閉狀態識別以及眼部關鍵點回歸，經公式將關鍵點位置轉換為眼睛張開程度λ，輸出當前時刻眼睛睜閉狀態S1以及睜閉程度λ；

哈欠行為檢測：對人臉特征圖譜進行嘴部ROI-pooling，利用哈欠行為識別網絡進行嘴部開閉狀態識別，輸出嘴部開閉狀態S2；