[發明專利]駕駛員疲勞狀態識別方法、系統、電子設備和存儲介質

在審

• 申請號: 201911116732.6
• 申請日: 2019-11-15
• 公開（公告）號: CN110826521A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 何辰立;張坤雷
• 申請（專利權）人: 愛馳汽車有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/246;G06N3/04
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 徐莉;鐘宗

1.一種駕駛員疲勞狀態識別方法，其特征在于，包括：

響應于車輛的啟動信號，持續獲得駕駛員的紅外圖像；

對所述紅外圖像進行人臉檢測，獲得所述駕駛員的臉部圖像；

對所述臉部圖像進行人臉關鍵點檢測，獲得所述臉部圖像中基于人臉框位置的多個臉部關鍵點位置向量、以及所述駕駛員的頭部姿態；

根據所述臉部關鍵點位置向量，獲得所述臉部圖像中包括所述駕駛員的左眼區域、右眼區域和嘴部區域的關鍵區域圖像，并對所述關鍵區域圖像進行張閉狀態識別，獲得所述駕駛員的眼部狀態和嘴部狀態；以及

基于所述頭部姿態、所述眼部狀態和所述嘴部狀態，當滿足預定條件時判斷所述駕駛員處于疲勞狀態并發出提示信息，所述預定條件包括：

所述頭部姿態在第一預設時間段內持續低下；和/或

所述眼部狀態在第二預設時間段內持續閉合；和/或

所述嘴部狀態在第三預設時間段內持續張開。

2.如權利要求1所述的駕駛員疲勞狀態識別方法，其特征在于，所述根據所述臉部關鍵點位置向量的步驟之前，還包括：

基于水平方向對所述臉部圖像進行矯正；以及

基于矯正后的所述臉部圖像對所述臉部關鍵點位置向量進行矯正。

3.如權利要求2所述的駕駛員疲勞狀態識別方法，其特征在于，所述基于水平方向對所述臉部圖像進行矯正的步驟包括：

根據所述臉部關鍵點位置向量中左眼位置向量和右眼位置向量，獲得左眼與右眼的連線與所述水平方向的夾角，作為矯正角度；以及

以所述臉部圖像的人臉框的中心點為旋轉中心，將所述臉部圖像旋轉所述矯正角度。

4.如權利要求2所述的駕駛員疲勞狀態識別方法，其特征在于，所述基于水平方向對所述臉部圖像進行矯正的步驟之后，還包括：

對所述臉部圖像進行直方圖均衡化預處理和光照均衡化預處理。

5.如權利要求1所述的駕駛員疲勞狀態識別方法，其特征在于，所述對所述紅外圖像進行人臉檢測的步驟中，基于DepthWise卷積神經網絡構建的人臉檢測模型對所述紅外圖像進行人臉檢測；以及

所述人臉檢測模型輸出以人臉框為邊界的所述臉部圖像。

6.如權利要求1所述的駕駛員疲勞狀態識別方法，其特征在于，所述對所述臉部圖像進行人臉關鍵點檢測的步驟中，基于DepthWise卷積神經網絡構建的關鍵點檢測模型對所述臉部圖像進行人臉關鍵點檢測；以及

所述關鍵點檢測模型輸出基于所述人臉框位置的左眼位置向量、右眼位置向量、鼻尖位置向量、左嘴角位置向量和右嘴角位置向量，以及指示頭部抬起或低下的所述頭部姿態。

7.如權利要求1所述的駕駛員疲勞狀態識別方法，其特征在于，所述獲得所述臉部圖像中包括所述駕駛員的左眼區域、右眼區域和嘴部區域的關鍵區域圖像的步驟包括：

裁剪出所述臉部圖像中的左眼區域、右眼區域和嘴部區域；以及

將裁剪出的所述左眼區域、所述右眼區域和所述嘴部區域的分辨率縮放至一預設分辨率，形成所述關鍵區域圖像。

8.如權利要求1所述的駕駛員疲勞狀態識別方法，其特征在于，所述對所述關鍵區域圖像進行張閉狀態識別的步驟中，基于DepthWise卷積神經網絡構建的眼部嘴部張閉識別模型對所述關鍵區域圖像進行張閉狀態識別；以及

所述眼部嘴部張閉識別模型輸出指示眼部張開或閉合的眼部狀態，以及指示嘴部張開或閉合的嘴部狀態。

9.如權利要求1所述的駕駛員疲勞狀態識別方法，其特征在于，所述持續獲得駕駛員的紅外圖像的步驟包括：

通過所述車輛的紅外攝像頭持續攝取所述駕駛員的紅外圖像；以及

實時傳輸攝取的所述紅外圖像。