[發明專利]駕駛員疲勞狀態識別方法、系統、電子設備和存儲介質

在審

• 申請號: 201911116732.6
• 申請日: 2019-11-15
• 公開（公告）號: CN110826521A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 何辰立;張坤雷
• 申請（專利權）人: 愛馳汽車有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/246;G06N3/04
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 徐莉;鐘宗

本公開涉及計算機技術領域，提供一種駕駛員疲勞狀態識別方法、系統、電子設備和存儲介質。方法包括：響應于車輛的啟動信號，持續獲得駕駛員的紅外圖像；對紅外圖像進行人臉檢測，獲得駕駛員的臉部圖像；對臉部圖像進行人臉關鍵點檢測，獲得多個臉部關鍵點位置向量和駕駛員的頭部姿態；根據臉部關鍵點位置向量，獲得臉部圖像中包括左眼區域、右眼區域和嘴部區域的關鍵區域圖像，對關鍵區域圖像進行張閉狀態識別，獲得駕駛員的眼部狀態和嘴部狀態；基于頭部姿態、眼部狀態和嘴部狀態，當滿足預定條件時判斷駕駛員處于疲勞狀態并發出提示信息。本公開能部署于車載嵌入式系統，在各種環境下實現準確率高、運算速度快、功耗低的駕駛員疲勞狀態識別。

技術領域

本公開涉及計算機技術領域，具體地說，涉及一種駕駛員疲勞狀態識別方法、系統、電子設備和存儲介質。

背景技術

隨著社會經濟發展和城市道路的大規模建設，機動車數量劇增。相應地，交通事故的發生數量也日益增高。交通事故的主要原因之一，是由于駕駛員身體疲勞、注意力不集中等因素導致的疲勞駕駛。因此，有效檢測駕駛員是否處于疲勞狀態，在保障駕駛員與乘客安全方面起著至關重要的作用。

目前，部分機構與企業針對疲勞駕駛檢測提出了相應的解決方案。一般流程為：通過預置在車艙內的攝像頭，采集包含駕駛員面部信息的圖片；根據圖片進行面部定位；然后檢測面部關鍵點，例如眼睛和嘴巴，分析眼睛和嘴巴的狀態，當判斷存在疲勞駕駛的情況，發出提醒信號。

現有的疲勞駕駛檢測方案存在以下不足：

當行車環境變暗，如進入隧道、夜間行駛，或者駕駛員戴口罩、墨鏡等情況，攝像頭無法有效捕獲到駕駛員的人臉，也就無法進行疲勞駕駛的監控；

當駕駛員左顧右盼時，攝像頭捕捉到的是駕駛員部分的人臉，或者在駕駛員面部姿態較大的情況下，面部定位和面部關鍵點檢測容易輸出錯誤結果；

面部定位和面部關鍵點檢測的算法運算量大，而車輛的運算平臺為了降低用電量和發熱量，一般設計為低功耗芯片，計算能力較差。這導致疲勞狀態的計算結果有時間上的延遲，很難做到實時檢測與提醒。

需要說明的是，在上述背景技術部分申請的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

有鑒于此，本公開提供一種駕駛員疲勞狀態識別方法、系統、電子設備和存儲介質，能夠部署在車載嵌入式系統中，在各種環境下實現準確率高、運算速度快、功耗低的駕駛員疲勞狀態識別。

本公開的第一方面提供一種駕駛員疲勞狀態識別方法，包括：響應于車輛的啟動信號，持續獲得駕駛員的紅外圖像；對所述紅外圖像進行人臉檢測，獲得所述駕駛員的臉部圖像；對所述臉部圖像進行人臉關鍵點檢測，獲得所述臉部圖像中基于人臉框位置的多個臉部關鍵點位置向量、以及所述駕駛員的頭部姿態；根據所述臉部關鍵點位置向量，獲得所述臉部圖像中包括所述駕駛員的左眼區域、右眼區域和嘴部區域的關鍵區域圖像，并對所述關鍵區域圖像進行張閉狀態識別，獲得所述駕駛員的眼部狀態和嘴部狀態；以及，基于所述頭部姿態、所述眼部狀態和所述嘴部狀態，當滿足預定條件時判斷所述駕駛員處于疲勞狀態并發出提示信息，所述預定條件包括：所述頭部姿態在第一預設時間段內持續低下；和/或所述眼部狀態在第二預設時間段內持續閉合；和/或所述嘴部狀態在第三預設時間段內持續張開。

在一個實施例中，所述根據所述臉部關鍵點位置向量的步驟之前，還包括：基于水平方向對所述臉部圖像進行矯正；以及，基于矯正后的所述臉部圖像對所述臉部關鍵點位置向量進行矯正。

在一個實施例中，所述基于水平方向對所述臉部圖像進行矯正的步驟包括：根據所述臉部關鍵點位置向量中左眼位置向量和右眼位置向量，獲得左眼與右眼的連線與所述水平方向的夾角，作為矯正角度；以及，以所述臉部圖像的人臉框的中心點為旋轉中心，將所述臉部圖像旋轉所述矯正角度。