[發明專利]一種基于深度學習的疲勞駕駛預警方法

在審

• 申請號: 201910036657.6
• 申請日: 2019-01-15
• 公開（公告）號: CN109902560A
• 公開（公告）日: 2019-06-18
• 發明（設計）人: 莊千洋;張克華;王佳逸;陳倩倩;朱苗苗;丁璐
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 杭州華鼎知識產權代理事務所(普通合伙) 33217
• 代理人: 項軍

本發明公開了一種基于深度學習的疲勞駕駛預警方法，通過高效的人臉檢測技術、人眼檢測技術、模板匹配技術以及深度卷積神經網絡檢測并判斷駕駛員1分鐘之內眼睛的開合度變化數據，計算疲勞參數PERCLOS指標，當系統判斷駕駛員處于疲勞狀態時，系統會發出報警聲音。在視頻識別中，保存第一幀檢測的人眼模板，在接下的檢測中原圖與模板計算距離相關系數，減少了檢測眼睛區域的開銷，大大提高了系統的運行效率。通過深度卷積神經網絡的訓練，其目的是使損失函數最小化。將人眼圖像輸入深度卷積神經網絡計算后，輸出2*2的2維矩陣，通過選取概率值最大類別數據，作為眼睛實時狀態數據，具有更高的準確性。

技術領域

本發明屬于汽車安全駕駛技術，具體涉及一種基于深度學習的疲勞駕駛預警技術。

背景技術

隨著汽車行業的發展，汽車成了人們最常用的代步工具。而由汽車引發的交通事故是當前世界各國所面臨的嚴重社會問題之一，已被公認為當今世界危害人類生命安全的第一大公害，每年因交通事故的原因至少使50萬人死亡。歐美各國的交通事故統計分析表明,交通事故中80％～90％是人的因素造成的，其中絕大部分原因是疲勞駕駛。如圖1所示的2012-2016年中國交通部的統計的交通事故誘因統計圖所知，我國50％的車禍由駕駛員疲勞駕駛引起。

申請號為CN201710356372.1的發明專利公開了一種基于深度學習的疲勞駕駛監測方法，包括圖像采集、人臉檢測以及人臉特征坐標標定，通過三元組訓練所得深度學習模型進行人眼狀態判斷。其不足之處在于該發明主要是：1、在訓練三元組深度學習模型過程中，三元組的選擇需要高的技巧性。如果每次都是隨機選擇三元組，雖然模型可以正確地收斂，但是并不能達到較好的性能；如果每次都選擇最難分辨的三元組訓練，模型又往往不能正確的收斂，并且通過三元組損失訓練人臉模型需要非常大的人臉數據集才能取得較好的效果。2、該識別方法在人臉檢測和人臉特征坐標標定部分采用了三個深度神經網絡模型，在人眼開合度判斷中采用了一個深度神經網絡模型。在視頻流檢測駕駛員人眼開合狀態時，需要計算大量的深度神經網絡參數計算，在嵌入式開發過程中無法達到實時性，甚至可能出現大量的眼睛狀態漏檢而造成疲勞度誤判等情況。

發明內容

本發明所要解決的技術問題就是提供一種基于深度學習的疲勞駕駛預警方法，可以做到實時檢測，檢測效率高且準確度高，避免誤判，在司機疲勞駕駛時，可以生成實時狀態預警。

為解決上述技術問題，本發明采用如下技術方案：一種基于深度學習的疲勞駕駛預警方法，包括如下步驟：

步驟S1：采用紅外攝像頭對駕駛員圖像進行采集作為訓練數據集，通過人臉檢測技術提取圖像中駕駛員人臉區域；

步驟S2：根據人體生物學特征，將人臉區域按照1/2長和1/2寬進行劃分4個區域，駕駛員右眼處于右上角區域，截取右上角區域圖像，通過人眼檢測技術，對截取圖像進行人眼區域進一步截取；

步驟S3：將提取人眼區域保存為模板，通過模板在人臉右上角區域的由左向右，由上至下滑動，尋找圖像與模板最相似區域，其中在每個位置都進行一次度量計算來表明模板和人臉右上角區域圖像該位置子圖之間的相關系數，其公式為：

其中，R(i,j)表示模板與人臉右上角區域圖像(i,j)位置子圖的相關系數，S_ij(m,n)表示子圖(m,n)坐標的像素值，T(m,n)表示模板(m,n)坐標的像素值；截取該區域包含人眼特征圖像，該圖像分辨率為20*20，，作為深度神經網絡輸入；

步驟S4：根據步驟S3所截取的分辨率為20*20的人眼圖像，依據眼睛開閉狀態生成訓練數據集，通過訓練數據集輸入到深度卷積神經網絡模型，采用隨機梯度下降算法的擴展式Adam對模型進行訓練，得到深度人眼狀態檢測模型，其中，深度卷積神經網絡采用1層數據層，4層卷積層，2層池化層以及2層全連接層，在訓練過程中，損失函數定義為：