[發明專利]基于面部圖像與脈搏信息融合的路怒情緒識別方法

有效

• 申請號: 201810022416.1
• 申請日: 2018-01-10
• 公開（公告）號: CN108216254B
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 楊立才;于申浩;張成昱
• 申請（專利權）人: 山東大學
• 主分類號: B60W40/08
• 分類號: B60W40/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于面部圖像與脈搏信息融合的路怒情緒識別方法，其特征是，基于多源信息和數據融合技術準確識別駕駛員的路怒情緒并預警，包括以下步驟：

步驟(1)：數據采集：

通過設置在車內儀表盤之上的紅外高速攝像頭采集駕駛員的面部視頻圖像信息；

通過佩戴在駕駛員手腕處的腕帶式無線脈搏采集終端采集駕駛員的脈搏信息；

步驟(2)：數據預處理：

從面部視頻圖像信息中獲取駕駛員的面部圖像，從面部圖像中提取面部特征；

從脈搏信息中提取脈搏特征；

將面部特征和脈搏特征進行特征融合，然后基于主成分分析法進行降維處理，得到駕駛員的路怒情緒特征；

步驟(3)：利用支持向量機SVM對駕駛員的路怒情緒特征進行訓練，建立駕駛員的路怒情緒識別模型；

步驟(4)：利用訓練得到的路怒情緒識別模型對駕駛員的情緒狀態進行實時監測，判別駕駛員的路怒情緒狀態；

所述步驟(2)中，提取面部特征，具體為：

從面部視頻信息中獲取駕駛員的面部圖像，并從中提取面部特征，步驟：

從視頻圖像信息中選取設定時間段，提取連續若干幀圖像，對圖像去噪，然后基于YCbCr色彩空間的自適應膚色分割方法對圖像中的人臉區域進行識別與分割，再從人臉區域中基于灰度投影積分提取面部特征，所述人臉區域包括人的眼睛、眉毛和嘴巴區域；

在人眼區域，所提取的特征，包括：眨眼次數、眨眼頻率、眼睛開合度、單位時間內異常開合的持續時間以及平均眨眼時間，單位時間內異常開合的持續時間超過設定閾值，則表示當前駕駛員處于憤怒狀態；

在眉毛區域，所提取的特征，包括：眉毛上下偏移量以及左右眉毛相對偏移量，當左右眉毛相對偏移量超過設定閾值，則表示當前駕駛員處于憤怒狀態；

在嘴巴區域，所提取的特征，包括：嘴巴開合度、嘴巴異常開合度、嘴巴開合次數以及嘴巴開合頻率，當嘴巴異常開合度大于設定閾值，則表示當前駕駛員處于憤怒狀態；

將人眼區域、眉毛區域和嘴巴區域所提取的特征融合后綜合評判駕駛員的憤怒狀態，提高識別率；

所述步驟(2)中，特征融合與降維具體為：

將面部特征和脈搏特征進行特征融合與降維處理，得到駕駛員的路怒情緒特征，步驟：

將所述面部特征和脈搏特征進行特征融合，形成多維特征空間，再對多維特征空間進行降維，得到駕駛員的路怒情緒特征。

2.如權利要求1所述的基于面部圖像與脈搏信息融合的路怒情緒識別方法，其特征是，所述步驟(1)中，紅外高速攝像頭首先對駕駛員進行定位，再進行面部視頻圖像采集；腕帶式無線脈搏采集終端采用光電式脈搏傳感器，對駕駛員進行脈搏信息采集。

3.如權利要求1所述的基于面部圖像與脈搏信息融合的路怒情緒識別方法，其特征是，所述步驟(2)中，提取脈搏特征，具體為：

基于小波變換對脈搏信號進行濾波和去噪處理，分別從時域和頻域提取脈搏特征，所述脈搏特征包括線性特征和非線性特征；

時域脈搏特征，包括：相鄰脈搏主波波峰間期的均值、相鄰脈搏主波波峰間期的標準差、相鄰脈搏主波波峰間期的均方根、相鄰脈搏主波波峰間期的一階差分或相鄰脈搏主波波峰間期的二階差分；

頻域脈搏特征，包括：低頻功率譜、高頻功率譜、高低頻比例、功率譜峰值或峰值頻率；

非線性特征，包括：心率變異性HRV關聯指數和李雅普諾夫Lyapunov指數。

4.如權利要求1所述的基于面部圖像與脈搏信息融合的路怒情緒識別方法，其特征是，所述步驟(3)中，從情緒識別特征向量矩陣中抽取部分實驗樣本成為訓練集，作為支持向量機SVM的輸入向量，對SVM進行訓練，并提高SVM的泛化能力和魯棒性，最終構建駕駛員路怒情緒識別模型。

5.如權利要求1所述的基于面部圖像與脈搏信息融合的路怒情緒識別方法，其特征是，所述步驟(3)的駕駛員路怒情緒識別模型建立步驟為：

步驟(31)：將經過PCA降維后的駕駛員的路怒情緒特征隨機分為訓練集和測試集；

步驟(32)：選用徑向基RBF核函數，確定懲罰因子C以及交叉檢驗次數；

步驟(33)：利用訓練集數據訓練識別模型，再用測試集計算識別率；

當識別率達到預期要求時，則模型訓練結束；

當識別率未能達到預期要求時，則優化懲罰因子C，再次利用訓練集進行模型訓練，直到識別率達到預期。