[發明專利]一種多角度駕駛員疲勞程度評估方法

在審

• 申請號: 202211040818.7
• 申請日: 2022-08-29
• 公開（公告）號: CN115457516A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 王金湘;陳錦鑫;方振伍;殷國棟;陳建松;耿可可
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V10/774;G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 王雪

本發明涉及車輛輔助駕駛系統技術領域，特別是涉及一種多角度駕駛員疲勞程度評估方法，包括訓練步驟和測試步驟；訓練步驟包括采集多角度駕駛員疲勞面部圖像，并對采集的圖像進行標記分類，形成多角度駕駛員疲勞數據集；建立疲勞檢測模型的網絡結構；根據多角度駕駛員疲勞數據集，使用遷移學習訓練疲勞檢測模型；測試步驟包括以下具體步驟：使用單個相機獲取駕駛員的面部圖像；將獲取到的面部圖像輸入駕駛員疲勞檢測模型，以輸出圖像疲勞分類結果；累積計算疲勞幀數，對駕駛員疲勞程度進行評估。本發明的方法能夠實現使用單個RGB相機對駕駛員的疲勞程度多角度、準確、快速的檢測。

技術領域

本發明涉及車輛輔助駕駛系統技術領域，特別是涉及一種多角度駕駛員疲勞程度評估方法。

背景技術

疲勞會顯著降低駕駛員的注意力和反應能力，從而增加事故發生的概率。根據美國汽車協會交通安全基金會的一項研究報告，每年約有32.8萬起駕駛事故與駕駛員疲勞有關。此外，疲勞檢測在人機共駕中尤為重要，因為疲勞會顯著降低駕駛員的接管表現，且人機共駕下的駕駛員會比傳統的純人駕駛更容易產生疲勞。因此，準確檢測駕駛員的疲勞狀態對保證交通安全至關重要。

目前，駕駛員疲勞自動化檢測主要依靠三種信息，即機器視覺信息、生理信號和車輛狀態信息。車輛狀態信息包括轉向角、車道偏離和加速度等數據。由于車輛狀態信息與駕駛員疲勞狀態間接相關，依靠這類信息的方法的魯棒性和準確性較低。生理信號包括心電圖、腦電圖、肌電圖和心率變異性等數據。生理信號能有效地反映駕駛員的疲勞狀態，但測量裝置對信號噪聲敏感，而且醫療級的檢測設備價格昂貴。機器視覺信號主要是駕駛員的人臉圖像信息，隨著機器視覺的發展，基于機器視覺信號的疲勞檢測方法成為近年來的主要趨勢，它具有成本低，精度和魯棒性較高等優點。

基于機器視覺的駕駛員疲勞檢測方法可以進一步細分為兩種流程。一種是基于兩步檢測來實現對疲勞的檢測。第一步是從視頻中提取如眼瞼閉合時間、眨眼頻率和打哈欠等手工設計的與疲勞相關的特征。然后，根據這些特征推斷駕駛員的疲勞狀態。該方法所需疲勞數據量少，但操作復雜且魯棒性低。另一種是端到端的數據驅動方法，模型自動從視頻中提取特征以判斷駕駛員疲勞。這類方法簡單且準確率高，然而端到端的方法基于深度學習，需要大量的訓練數據以避免過度擬合。

目前大多數的基于機器視覺的疲勞檢測方法只針對駕駛員的正臉圖像，沒有考慮駕駛員和相機相對位姿變化對疲勞檢測的影響。然而，在現實世界中，相機和駕駛員面部之間的相對姿勢總是在變化，并且姿勢變化通常很大。此外，在自動駕駛車輛上，駕駛員能夠進行玩手機等非駕駛相關活動，駕駛員和相機相對位姿具有高度的不確定性。駕駛員和相機相對位姿變化會導致人臉信息獲取的不一致，從而難以實現準確魯棒的駕駛員疲勞檢測。

發明內容

本發明的目的在于提供一種單個相機下能多角度檢測駕駛員疲勞的方法，該方法基于深度學習，創新的使用多角度圖像訓練集訓練深度學習駕駛員疲勞檢測模型，并使用遷移學習解決使用深度學習檢測駕駛員疲勞時訓練樣本不足的問題，利用數據豐富的人臉檢測和人臉對齊領域的知識來提高駕駛員疲勞檢測模型的性能，從而使得訓練出的模型能夠多角度檢測駕駛員的疲勞。

本發明的技術方案，一種多角度駕駛員疲勞程度評估方法，包括訓練步驟和測試步驟；

訓練步驟包括以下具體步驟：

采集多角度駕駛員疲勞面部圖像，并對采集的圖像進行標記分類，形成多角度駕駛員疲勞數據集；

建立疲勞檢測模型的網絡結構；

根據多角度駕駛員疲勞數據集，使用遷移學習訓練疲勞檢測模型；

測試步驟包括以下具體步驟：

使用單個相機獲取駕駛員的面部圖像；

將獲取到的面部圖像輸入駕駛員疲勞檢測模型，以輸出圖像疲勞分類結果；

累積計算疲勞幀數，對駕駛員疲勞程度進行評估。