[發明專利]疲勞駕駛檢測方法和裝置

有效

• 申請號: 201610056984.4
• 申請日: 2016-01-27
• 公開（公告）號: CN105769120B
• 公開（公告）日: 2019-01-22
• 發明（設計）人: 楊銘;白濤;都大龍;黃暢
• 申請（專利權）人: 深圳地平線機器人科技有限公司
• 主分類號: A61B5/00
• 分類號: A61B5/00
• 代理公司: 北京市正見永申律師事務所 11497
• 代理人: 黃小臨;王懷章

本申請公開了一種駕駛員疲勞駕駛檢測方法和檢測裝置，所述方法包括：接收采集的駕駛員的正面圖像；在采集的圖像中進行人臉檢測；在檢測到的人臉中進一步定位人眼和/或嘴巴；所述方法還包括：基于深度神經網絡模型，對檢測到的人眼和/或嘴巴進行定位，識別人眼的狀態；跟蹤多幀圖像中人眼的狀態的變化，判斷駕駛員是否疲勞。通過上述檢測方法和裝置，能夠實時的、高魯棒性而準確地檢測疲勞駕駛。

技術領域

本公開一般涉及汽車安全駕駛技術領域，具體涉及基于深度神經網絡的疲勞駕駛檢測方法和裝置。

背景技術

隨著社會經濟的發展，機動車輛急劇增多，由疲勞駕駛導致的交通事故呈現越來越多發的趨勢。針對這一現象，產生了各種疲勞駕駛檢測技術，其中包括基于駕駛員的生理特征的疲勞駕駛檢測技術。當駕駛員疲勞時，會表現出低頭、閉眼頻率增加等生理特征。通過監控裝置，檢測駕駛員的這些生理特征，可以判斷駕駛員是否疲勞。基于駕駛員的生理特征的疲勞駕駛檢測技術，具有非接觸、成本低、精確度高的特點，因此，被廣泛采用于目前的疲勞駕駛檢測裝置。

當前的基于駕駛員的生理特征的疲勞駕駛檢測裝置，大多通過圖像處理技術，定位人臉，再在人臉的范圍內分析眼睛的狀態，判斷是否疲勞。具體地，通常有兩種方法，一種是采用可見光攝像頭，獲得人眼張合狀態信息進行檢測識別，根據眼睛、嘴巴、鼻子等器官的特征以及相互之間的幾何位置關系來進行，這種方法在強光和黑暗環境條件下準確率受到很大影響，而且，傳統的單純基于圖像的人眼檢測分析算法，如膚色瞳孔分割檢測，對噪聲不魯棒，無法準確的分割出人眼區域進行識別。另一種基于深度學習模型的算法，通過對大量人臉圖像樣本構造人臉模式空間，根據相似度來判斷人臉是否存在。這種方法雖然準確率有所提升，但這種方法計算量大，無法在嵌入式設備上實時運行，不能實用。

發明內容

在下文中給出關于本發明的簡要概述，以便提供關于本發明的某些方面的基本理解。應當理解，這個概述并不是關于本發明的窮舉性概述。它并不是意圖確定本發明的關鍵或重要部分，也不是意圖限定本發明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

本發明提出一種能夠實時的、高魯棒性而準確地進行疲勞駕駛檢測的方法。

在本發明的第一方面，本發明提供一種疲勞駕駛檢測方法，包括：接收采集的駕駛員的正面圖像；在采集的圖像中進行人臉檢測；在檢測到的人臉中進一步定位人眼和/或嘴巴；其中，所述方法還包括：

基于深度神經網絡模型，對檢測到的人眼和/或嘴巴進行定位，識別人眼的狀態；

跟蹤多幀圖像中人眼的狀態的變化，判斷駕駛員是否疲勞。

優選地，上述疲勞駕駛方法基于深度神經網絡模型，對檢測到的人眼和/或嘴巴進行定位包括：將人臉圖像輸入人臉特征點回歸卷積神經網絡模型，回歸預測在一個降采樣的低分辨率圖像中人眼和/或嘴巴的邊界位置。

優選地，上述疲勞駕駛方法對檢測到的人眼和/或嘴巴進行定位還包括從所述降采樣的低分辨率圖像中裁剪出雙眼區域圖像，輸入眼睛區域分割深度神經網絡模型，預測在另一降采樣的低分辨率圖像上屬于人眼區域的概率圖，分割出人眼區域所包含的圖像像素，并據此判斷人眼的張合狀態。

優選地，在上述疲勞駕駛方法中，所述人眼狀態的變化包括人眼張合大小的變化。優選地，在上述疲勞駕駛方法中，所述人眼狀態的變化包括人眼張合頻次的變化。

優選地，所述疲勞駕駛檢測方法還包括在檢測到的人臉中進一步定位鼻子，并且基于深度神經網絡模型，對檢測到的鼻子進行定位。

優選地，所述疲勞駕駛檢測方法還包括利用單目紅外攝像頭進行圖像采集。

優選地，所述疲勞駕駛檢測方法還包括從降采樣的低分辨率圖像中定位嘴部區域，裁剪出嘴部區域圖像，輸入嘴區域分割深度神經網絡模型，分類判斷嘴部張開閉合狀態。