[發明專利]一種融合口罩佩戴的疲勞駕駛人臉識別方法

在審

• 申請號: 202210654780.6
• 申請日: 2022-06-10
• 公開（公告）號: CN115100635A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 尚文利;田漢彬;曹忠;韋蘊珊;張夢;浣沙;張曼
• 申請（專利權）人: 廣州大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V20/40;G06V40/16;G06V10/82;G06V10/46;G06N3/04
• 代理公司: 廣州高炬知識產權代理有限公司 44376
• 代理人: 劉志敏

本發明涉及疲勞駕駛人臉識別技術領域，公開了一種融合口罩佩戴的疲勞駕駛人臉識別方法，包括以下步驟：S1、調用攝像頭獲取視頻流，獲取圖像信息；該步驟通過OpenCV庫完成；S2、進行人臉檢測并標出人臉特征點；該步驟通過訓練RetinaFaceMobileNet模型完成；S3、識別人臉口罩佩戴情況，該步驟通過卷積神經網絡實現；S4、眼睛嘴部區域定位，若上一步識別到佩戴口罩，則只定位眼睛區域。本發明通過人臉關鍵點和人臉部器官分布規律，加入口罩識別模塊使系統不需要手動設置駕駛員是否配戴了口罩，在不佩戴口罩情況下系統可以同時提取眼部和嘴部信息，有效地解決了因公共交通司機佩戴口罩而造成誤判的問題。

技術領域

本發明涉及疲勞駕駛人臉識別技術領域，尤其涉及一種融合口罩佩戴的疲勞駕駛人臉識別方法。

背景技術

目前，基于駕駛員臉部特征的疲勞駕駛方法大多是通過提取人眼和嘴部特征，通過訓練好的模型識別人眼睜閉狀態以及嘴部的張閉狀態并記錄，檢測出長時間閉眼和打哈欠等行為進行疲勞判定，結合相應的疲勞駕駛指標進行疲勞評估，并在檢測到疲勞駕駛時給出警報。

但是，目前所使用的疲勞人臉識別的技術方案中，都是基于整張人臉特征的，并沒有考慮到臉部遮擋的情況。但是在防疫常態化背景下，公共交通包括公交車、出租車、大型客運車等的駕駛員都要求佩戴口罩，從而臉部大部分區域都被口罩遮擋，導致目前的疲勞駕駛人臉識別系統會給出錯誤的判定結果，比如口罩遮擋了嘴部，但是系統仍然會對嘴部區域識別并識別出嘴部張開，就會判定為打哈欠進一步會判定為疲勞。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供一種融合口罩佩戴的疲勞駕駛人臉識別方法，通過人臉關鍵點和人臉部器官分布規律，加入口罩識別模塊，以有效地解決因公共交通司機佩戴口罩而造成誤判的問題。

(二)技術方案

本發明提供如下技術方案：

一種融合口罩佩戴的疲勞駕駛人臉識別方法，包括以下步驟：

S1、調用攝像頭獲取視頻流，獲取圖像信息；該步驟通過OpenCV庫完成；

S2、進行人臉檢測并標出人臉特征點；該步驟通過訓練RetinaFaceMobileNet0.25模型完成；

S3、識別人臉口罩佩戴情況，該步驟通過卷積神經網絡實現；

S4、眼睛嘴部區域定位，若上一步識別到佩戴口罩，則只定位眼睛區域；該步驟通過人臉關鍵點和人臉部器官分布規律實現；

S5、識別眼睛和嘴部狀態并記錄；該步驟通過卷積神經網絡實現；

S6、根據S6中的識別結果計算PERCLOS值；

S7、根據PERCLOS值和疲勞判定指標進行疲勞識別，并在識別為疲勞狀態時給出警報。

在一種可能的實施方式中，識別數據以30s為一周期，通過模型識別到眼睛狀態的記錄，實時計算PERCLOS值，周期結束后更新PERCLOS值和打哈欠次數，根據人正常眨眼規律在新周期開始時賦予一定數量的閉眼幀數和總幀數。

在一種可能的實施方式中，在S3中，利用口罩識別模塊，能夠自動的識別人臉口罩佩戴情況并根據不同情況進行疲勞評估。

在一種可能的實施方式中，在檢測到佩戴口罩時：實時計算PERCLOS值，若在30s內大于0.15時則判定為疲勞，若30s內未被判定為疲勞，則將PERCLOS值重置并在新周期內重新計算更新PERCLOS值。

在一種可能的實施方式中，在檢測到為佩戴口罩時，同樣以30s為一周期，若在單位時間內檢測出嘴部狀態連續5幀都為張開，則判定為打哈欠并記錄。