[發明專利]一種基于深度學習的駕駛員疲勞程度量化方法

在審

• 申請號: 202211040819.1
• 申請日: 2022-08-29
• 公開（公告）號: CN115457517A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 王金湘;方振伍;陳錦鑫;殷國棟;陳建松;莊偉超
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V10/46;G06V40/18;G06V10/82;G06N5/04;G06N3/04;G06N3/08
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 王雪

1.一種基于深度學習的駕駛員疲勞程度量化方法，其特征在于，包括以下具體步驟：

S1、建立人臉關鍵點檢測模型；

S2、基于深度學習對建立的人臉關鍵點檢測模型進行訓練；

S3、使用訓練好的模型對獲取的每一幀圖像進行特征點檢測；

S4、基于檢測到的人臉關鍵點，提取眼睛和嘴巴區域的特征；

S5、建立兩層模糊推理系統；

S6、基于眼睛和嘴巴區域的特征，通過模糊推理系統獲得當前幀的疲勞量化值。

2.根據權利要求1所述的一種基于深度學習的駕駛員疲勞程度量化方法，其特征在于，S1中人臉關鍵點檢測模型為CNN檢測模型。

3.根據權利要求1所述的一種基于深度學習的駕駛員疲勞程度量化方法，其特征在于，S2中訓練人臉關鍵點檢測模型只檢測眼睛和嘴巴區域的特征點；訓練數據集使用300-W人臉關鍵點數據集，其中只使用300-W人臉關鍵點數據集中眼睛和嘴巴區域的總共18個特征點的數據。

4.根據權利要求1所述的一種基于深度學習的駕駛員疲勞程度量化方法，其特征在于，S4中通過攝像頭獲取人臉圖像，使用訓練好的人臉關鍵點檢測模型在獲取到的圖像上檢測眼睛和嘴巴區域的特征點；使用三次多項式曲線擬合眼睛和嘴巴區域的輪廓。

5.根據權利要求4所述的一種基于深度學習的駕駛員疲勞程度量化方法，其特征在于，根據S4中獲得的眼睛和嘴巴區域的輪廓，計算兩個定量的疲勞狀態評價指標：特征區域的面積和縱橫比，分別表示為S_k和R_k，k代表是眼睛或嘴巴特征區域。

6.根據權利要求5所述的一種基于深度學習的駕駛員疲勞程度量化方法，其特征在于，不同駕駛員的面部特征差異明顯，對S4中的疲勞狀態評價指標進行歸一化；歸一化公式為：

其中是某駕駛員特征區域面積的最大值，是某駕駛員歸一化后的特征區域面積，是某駕駛員特征區域縱橫比的最大值，是某駕駛員歸一化后的特征區域縱橫比。

7.根據權利要求1所述的一種基于深度學習的駕駛員疲勞程度量化方法，其特征在于，S5中第一層模糊推理系統評估眼睛和嘴巴的狀態，將歸一化后的特征值輸入后得到由P1和P2表示的嘴巴和眼睛區域的量化程度；第二層模糊推理系統基于P1和P2推理得到駕駛員的疲勞程度P3；P1、P2和P3的輸出范圍在0-1。

8.根據權利要求1所述的一種基于深度學習的駕駛員疲勞程度量化方法，其特征在于，S6中對過去5幀圖像的疲勞量化值使用均值濾波確定此時駕駛員的疲勞值。