[發明專利]一種基于卡車司機面部特征的困倦辨識方法及裝置

有效

• 申請號: 202110539062.X
• 申請日: 2021-05-18
• 公開（公告）號: CN113269069B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 王曉原;張楊;劉善良;李浩;李尚卿;鐘馥聲
• 申請（專利權）人: 青島科技大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京盛詢知識產權代理有限公司 11901
• 代理人: 劉靜

1.一種基于卡車司機面部特征的困倦辨識方法，其特征在于，包括如下步驟：

采集駕駛人的人臉圖像數據，構建為數據集，并對所述數據集中的人臉圖像進行圖像預處理；

構建并訓練人臉檢測模型，通過訓練好的人臉檢測模型對所述數據集中的人臉圖像進行人臉檢測及追蹤；

構建并訓練人臉對齊模型，基于人臉檢測及追蹤結果，通過訓練好的人臉對齊模型進行人臉關鍵點定位，提取駕駛人眼動、嘴部困倦表征參數數據；

基于人臉關鍵點定位結果，通過三維立體空間與二維圖像之間的映射關系，提取頭部困倦表征參數數據；其中，頭部困倦表征參數包括偏航角、翻滾角和俯仰角；

對提取的眼動、嘴部及頭部困倦表征參數數據進行數據清洗及數據預處理；

基于預處理后的困倦表征參數數據構建并訓練PSO-GRNN模型，通過訓練好的PSO-GRNN模型對實時采集的人臉圖像數據進行卡車司機困倦駕駛狀態辨識；

所述的數據集包括困倦駕駛狀態數據集和干擾數據集；所述困倦駕駛狀態數據集包含困倦駕駛狀態時的特征和標簽數據，所述干擾數據集包含駕駛人正常駕駛時的特征和標簽數據；

所述卡車司機困倦駕駛狀態辨識的具體方法包括：

S601、利用RFE算法對數據預處理后的特征進行篩選，得到最優特征矩陣；

S602、構建PSO-GRNN模型，并對所述PSO-GRNN模型進行參數初始化；

所述構建PSO-GRNN模型，通過PSO算法對GRNN模型中光滑因子σ進行優化，步驟如下：

1)初始化粒子群，并設置粒子群算法的基本參數；

2)將粒子位置映射到GRNN網絡中，構建GRNN困倦駕駛狀態辨識模型；

3)將特征選擇后的包含一定比例的困倦駕駛狀態數據和干擾數據集輸入到GRNN神經網絡中進行模型訓練；

4)更新粒子pbest；

5)更新全局最優位置gbest；

6)根據pbest和gbest更新和調整粒子的當前位置和速度；

7)判斷是否滿足條件或最大迭代次數，如果達到最大迭代次數，則PSO優化結束，將gbest映射到GRNN中進行網絡模型的測試；

S603、基于最優特征矩陣對所述PSO-GRNN模型進行訓練，得到訓練好的PSO-GRNN模型；其中，訓練過程中，通過PSO算法優化GRNN神經網絡的光滑因子；

S604、實時采集基于時間序列的駕駛狀態數據，通過滑動窗口算法將所述駕駛狀態數據輸入到訓練好的PSO-GRNN模型，得到卡車司機困倦狀態的辨識結果。

2.根據權利要求1所述的基于卡車司機面部特征的困倦辨識方法，其特征在于，對所述數據集中的人臉圖像進行圖像預處理的方法包括：灰度化處理、局部方差均衡化處理。

3.根據權利要求1所述的基于卡車司機面部特征的困倦辨識方法，其特征在于，所述人臉檢測模型基于MTCNN卷積神經網絡進行構建，并通過公開人臉數據集進行人臉檢測模型訓練，得到訓練好的人臉檢測模型；通過訓練好的人臉檢測模型對所述數據集中的人臉圖像進行人臉檢測及追蹤。

4.根據權利要求1所述的基于卡車司機面部特征的困倦辨識方法，其特征在于，所述人臉對齊模型采用MobileV3Net_small與CNN相結合的深度神經網絡進行構建；所述MobileV3Net_small神經網絡為主網絡，用于預測人臉關鍵點在圖像坐標系中的坐標，完成人臉關鍵點定位；所述CNN為輔網絡，用于對所述主網絡進行約束。

5.根據權利要求1所述的基于卡車司機面部特征的困倦辨識方法，其特征在于，頭部困倦表征參數數據的提取方法包括：

利用張正友標定法求解相機內部參數矩陣，EPnP算法求得相機外部的旋轉矩陣和偏移矩陣，將二維關鍵點坐標與標準三維人臉模型進行對應，求解出三維立體空間與二維圖像之間的映射關系，提取偏航角、翻滾角和俯仰角困倦表征參數。