[發明專利]多模態的駕駛員情緒輔助調節方法

在審

• 申請號: 202010157896.X
• 申請日: 2020-03-09
• 公開（公告）號: CN111329498A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 李翠霞;李英豪;王亞博;吳衛東;周元元;楊珊珊;閆凱波;許書寧;葉帥;趙若琰
• 申請（專利權）人: 鄭州大學
• 主分類號: A61B5/18
• 分類號: A61B5/18;A61B5/00
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 耿路

1.一種多模態的駕駛員情緒輔助調節方法，其特征在于，包括:

S1、采集駕駛員的多模態數據信息；其中，所述多模態數據信息包括圖像信息、語音信息以及駕駛行為信息；

S2、根據所述多模態數據信息，分別對多個單模態下的駕駛員的情緒狀態進行識別，并判斷每個所述單模態下的駕駛員情緒狀態是否為路怒信號；

S3、對多個所述單模態下的駕駛員的情緒狀態的判斷結果進行融合，判斷融合結果是否為總體路怒信號，并對所述總體路怒信號進行等級劃分；

S4、根據所述總體路怒信號的等級，相應輸出不同的語音提醒信息，對駕駛員的情緒進行調節。

2.如權利要求1所述的一種多模態的駕駛員情緒輔助調節方法，其特征在于，所述S2包括圖像信息識別，具體為：

將攝像頭捕獲的駕駛員圖像信息拆解成幀，分別送入OpenCv人臉選擇器，實時的裁剪出車內駕駛員的面部圖像；

將面部圖像變換尺寸到224*224像素后送入VGG16深度卷積神經網絡模型提取特征，并將面部圖像分為路怒信號和非路怒信號。

3.如權利要求1所述的一種多模態的駕駛員情緒輔助調節方法，其特征在于，所述S2包括語音信息識別，具體為：

采用VAD算法實時捕獲車內駕駛員的語音信息，并將駕駛員的語音信息送入ASR模型中，進行語音到文字信息的轉換；

判斷駕駛員的語音信息中是否包含“喚醒詞”；如果包含喚醒詞，則送入語音交互模塊正常進行人機交互；如果不包含“喚醒詞”，則進行情感分析，并將駕駛員的語音信息分為路怒信號和非路怒信號。

4.如權利要求1所述的一種多模態的駕駛員情緒輔助調節方法，其特征在于，所述S2包括駕駛行為信息識別，具體為：

通過安裝在方向盤，剎車處的薄膜式傳感器，收集駕駛員駕駛行為數據

將收集得到的駕駛員駕駛行為數據送入到隨機森林模型中，通過隨機森林模型將駕駛員駕駛行為數據分為為路怒信號和非路怒信號；

其中，所述駕駛員駕駛行為數據包括三天內駕駛員平均起步熱車時間、原地怠速占比、急速踩踏油門頻率以及急速踩踏剎車頻率。

5.如權利要求1所述的一種多模態的駕駛員情緒輔助調節方法，其特征在于，所述S3中每個所述單模態下的駕駛員情緒狀態是路怒信號，則記為“1”；每個所述單模態下的駕駛員情緒狀態是非路怒信號，則記為“0”；所述總體路怒信號進行等級劃分，包括：

當多個所述單模態下的駕駛員情緒狀態相加為“0”，則為不路怒；

當多個所述單模態下的駕駛員情緒狀態相加為“1”，則為輕度路怒；

當多個所述單模態下的駕駛員情緒狀態相加為“2”，則為中度路怒；

當多個所述單模態下的駕駛員情緒狀態相加為“3”，則為重度路怒。