[發明專利]多模態的駕駛員情緒輔助調節方法

在審

• 申請號: 202010157896.X
• 申請日: 2020-03-09
• 公開（公告）號: CN111329498A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 李翠霞;李英豪;王亞博;吳衛東;周元元;楊珊珊;閆凱波;許書寧;葉帥;趙若琰
• 申請（專利權）人: 鄭州大學
• 主分類號: A61B5/18
• 分類號: A61B5/18;A61B5/00
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 耿路

本發明公開了一種多模態的駕駛員情緒輔助調節方法，涉及人工智能和機器學習領域，該方法包括采集駕駛員的多模態數據信息；根據多模態數據信息，分別對多個單模態下的駕駛員的情緒狀態進行識別，并判斷每個單模態下的駕駛員情緒狀態是否為路怒信號；對多個單模態下的駕駛員的情緒狀態的判斷結果進行融合，判斷融合結果是否為總體路怒信號，并對總體路怒信號進行等級劃分；根據總體路怒信號的等級，相應輸出不同的語音提醒信息，對駕駛員的情緒進行調節。本發明可以實時對駕駛員的情緒進行監測，當駕駛員的情緒狀態異常時，能夠及時采用相關的措施輔助調節駕駛員情緒，從而降低意外事故的發生，以期能夠對駕駛安全保駕護航。

技術領域

本發明涉及人工智能和機器學習領域，特別涉及一種多模態的駕駛員情緒輔助調節方法。

背景技術

路怒癥”(Roadrage)概念最早來自國外心理學。醫學界把“路怒癥”歸類為陣發型暴怒障礙，指多重的怒火爆發出來，猛烈程度叫人大感意外。如駕駛員在碰到交通堵塞時，或者是遇到其他影響心情的事情時，會表現出憤怒、頻繁鳴笛、頻繁剎車等操作方式的行為。

每年因“路怒癥”而發生的交通事故不斷攀升，嚴重影響了公共交通安全。雖然市面上已經有部分輔助駕駛系統，但并沒有考慮到駕駛員情緒對駕駛安全的影響，更沒有根據情緒識別結果配以合適的調節策略。

發明內容

為克服上述背景技術中存在的問題，本發明提供了一種多模態的駕駛員情緒輔助調節方法，通過多種渠道采集與駕駛員情緒判斷有關的數據，經過深度學習的方法進行情緒分析和判斷，進而采用相關的措施輔助調節駕駛員情緒，從而降低意外事故的發生。

本發明的技術方案是：

一種多模態的駕駛員情緒輔助調節方法，包括：

S1、采集駕駛員的多模態數據信息；其中，所述多模態數據信息包括圖像信息、語音信息以及駕駛行為信息；

S2、根據所述多模態數據信息，分別對多個單模態下的駕駛員的情緒狀態進行識別，并判斷每個所述單模態下的駕駛員情緒狀態是否為路怒信號；

S3、對多個所述單模態下的駕駛員的情緒狀態的判斷結果進行融合，判斷融合結果是否為總體路怒信號，并對所述總體路怒信號進行等級劃分；

S4、根據所述總體路怒信號的等級，相應輸出不同的語音提醒信息，對駕駛員的情緒進行調節。

優選的，所述S2包括圖像信息識別，具體為：

將攝像頭捕獲的駕駛員圖像信息拆解成幀，分別送入OpenCv人臉選擇器，實時的裁剪出車內駕駛員的面部圖像；

將面部圖像變換尺寸到224*224像素后送入VGG16深度卷積神經網絡模型提取特征，并將面部圖像分為路怒信號和非路怒信號。

優選的，所述S2包括語音信息識別，具體為：

采用VAD算法實時捕獲車內駕駛員的語音信息，并將駕駛員的語音信息送入ASR模型中，進行語音到文字信息的轉換；

判斷駕駛員的語音信息中是否包含“喚醒詞”；如果包含喚醒詞，則送入語音交互模塊正常進行人機交互；如果不包含“喚醒詞”，則進行情感分析，并將駕駛員的語音信息分為路怒信號和非路怒信號。

優選的，所述S2包括駕駛行為信息識別，具體為：

通過安裝在方向盤，剎車處的薄膜式傳感器，收集駕駛員駕駛行為數據

將收集得到的駕駛員駕駛行為數據送入到隨機森林模型中，通過隨機森林模型將駕駛員駕駛行為數據分為為路怒信號和非路怒信號；

其中，所述駕駛員駕駛行為數據包括三天內駕駛員平均起步熱車時間、原地怠速占比、急速踩踏油門頻率以及急速踩踏剎車頻率。