[發明專利]一種基于圖像識別技術的疲勞駕駛行為檢測方法

在審

• 申請號: 201811022927.X
• 申請日: 2018-09-03
• 公開（公告）號: CN109284698A
• 公開（公告）日: 2019-01-29
• 發明（設計）人: 王東明;黃慶毅
• 申請（專利權）人: 深圳市尼歐科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 深圳市中科創為專利代理有限公司 44384
• 代理人: 譚雪婷;高早紅

1.一種基于圖像識別技術的疲勞駕駛行為檢測方法，其特征在于，包括模型訓練階段以及測試階段，所述模型訓練階段包括如下步驟：

步驟S1：輸入圖像：從數據庫中選取人臉數據作為樣本圖像；

步驟S2：標注樣本圖像：對收集到的人臉數據進行標注，標注的信息包括人臉信息、人臉姿態信息以及人臉其他特征信息，人臉其它特征信息包括左眼、右眼、左嘴角、右嘴角以及鼻子的信息；

步驟S3：MTDCNN訓練：采用多任務卷積神經網絡對圖像進行訓練，獲取多任務卷積神經網絡人臉檢測模型；

步驟S4：損失函數計算：分別計算人臉檢測損失函數、人臉姿態損失函數、人臉其他特征點損失函數以及模型總的損失函數；

所述測試階段包括：

步驟Q1：輸入圖像：輸入采集到的駕駛員的圖像；

步驟Q2：人臉特征提取：運用多任務卷積神經網絡人臉檢測模型提取人臉特征，包括提取人臉信息、人臉姿態信息以及人臉其他特征信息，并將提取到的信息輸入；

步驟Q3：輸出人臉特征：采用canny邊緣檢測算法提取人臉特征的邊緣特征并輸出特征；

步驟Q4：駕駛異常行為檢測：統計每秒鐘檢測到的人臉次數，當連續超過T秒未接收到檢測到的人臉結果信息，則發出駕駛注意力不集中警告；統計每秒鐘人臉朝向結果，當連續超過W秒未接收到人臉朝向為正面的結果，則發出駕駛注意力不集中警報；統計每秒眼睛閉合的次數，當超過設定閾值時，發出嗜睡危險駕駛行為警告；統計每秒打哈欠的次數，當超過設定閾值時，發出疲勞駕駛危險行為警告。

2.根據權利要求1所述的基于圖像識別技術的疲勞駕駛行為檢測方法，其特征在于，在步驟S2中，每張圖像包括第一標注、第二標注以及第三標注，所述第一標注代表人臉信息，其用“a0”或“a1”表示，“a0”代表圖像不包含人臉信息，“a1”代表圖像包含人臉信息；所述第二標注代表人臉姿態信息，其用“B”、“b0”、“b1”、“b2”、“b3”或“b4”表示，其中“B”代表無人臉姿態信息，“b0”代表正面，“b1”代表左側，“b2”代表右側、“b3”代表角度大于15°朝下側，“b4”代表角度大于15°朝上側；所述第三標注代表人臉其他特征信息，其用大寫“C”、或小寫“c”與位于小寫“c”后的五個數字表示，大寫“C”表示無其他人臉特征信息，小寫“c”后的第一個數字包括“0”、“1”、“2”、“3”、“4”，“0”代表右眼，“1”代表左眼，“2”代表鼻子，“3”代表右嘴角，“4”代表左嘴角，小寫“c”后的第二個數字至第三個數字代表在圖像X軸的坐標位置，小寫“c”后的第四個數字至第五個數字代表在圖像Y軸的坐標位置。

3.根據權利要求1所述的基于圖像識別技術的疲勞駕駛行為檢測方法，其特征在于，所述多任務卷積神經網絡包括：第一至第三卷積層、第一池化層、第二池化層、第一至第八全連接層、以及第一至第四dropout層。

4.根據權利要求3所述的基于圖像識別技術的疲勞駕駛行為檢測方法，其特征在于，第一卷積層后面為第一池化層，第一池化層后面為第二卷積層，第二卷積層后面為第三卷積層，第三卷積層后面為第二池化層，第二池化層后面為第一全連接層，然后網絡分出三個分支；第一分支用來進行人臉檢測，其包括第二全連接層以及位于第二全連接層后的第三全連接層，來自第一全連接層的輸出送入第二全連接層，然后再送入第三全連接層，最后送入到softmax函數；第二分支用來進行人臉姿態檢測，其包括第四全連接層以及位于第四全連接層后的第五全連接層，來自第一全連接層的輸出送入第四全連接層，然后再送入第五全連接層，最后送入到softmax函數；第三分支用來進行其他特征點檢測，其包括第六全連接層、位于第六全連接層后面的第七全連接層以及位于第七全連接層后的第八全連接層，來自第一全連接層的輸出依次送入第六全連接層、第七全連接層、第八全連接層，最后送入到帶權重的均方誤差函數。