[發(fā)明專利]一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210709323.2
• 申請(qǐng)日: 2022-06-22
• 公開（公告）號(hào): CN115376508A
• 公開（公告）日: 2022-11-22
• 發(fā)明（設(shè)計(jì)）人: 陳萱儀;洪晨輝;孫東;陳芳
• 申請(qǐng)（專利權(quán)）人: 上海愛樂克智能科技有限公司
• 主分類號(hào): G10L15/22
• 分類號(hào): G10L15/22;G10L25/63;G06V10/74;G06V10/764;G06V20/40;G06V20/59;G06V40/16
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)，其特征在于；

駕駛員信息采集模塊，所述駕駛員信息采集模塊包括面部圖像信息采集模塊和語音信息采集模塊，所述駕駛員信息采集模塊用于對(duì)駕駛員的面部圖像信息和語音信息進(jìn)行采集；

駕駛員情緒狀態(tài)識(shí)別模塊，所述駕駛員情緒狀態(tài)識(shí)別模塊包括面部情緒識(shí)別和語音情緒識(shí)別，所述駕駛員情緒狀態(tài)識(shí)別模塊通過駕駛員信息采集模塊采集到的駕駛員數(shù)據(jù)信息，對(duì)駕駛員狀態(tài)情緒進(jìn)行識(shí)別，判斷駕駛員所處情緒狀態(tài)；

車載語音系統(tǒng)切換模塊，所述車載語音系統(tǒng)切換模塊根據(jù)駕駛員情緒狀態(tài)，當(dāng)駕駛員的某種駕駛相關(guān)情緒高于閾值時(shí)，切換預(yù)先設(shè)定好的不同副語言特征語音交互模式，與駕駛員進(jìn)行情緒匹配。

2.根據(jù)權(quán)利要求1所述的一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)，其特征在于：所述面部圖像情緒識(shí)別，具體為：

①面部圖像信息預(yù)處理：將攝像頭捕獲的駕駛員圖像視頻拆解成幀；

②面部信息圖像特征的提取：在駕駛員表情圖像上提取特征點(diǎn)，通過特征點(diǎn)找到當(dāng)前對(duì)應(yīng)的面部動(dòng)作單元，將面部動(dòng)作單元作為情緒狀態(tài)分類特征；

③面部情緒參考模式庫生成：利用SVM分類算法對(duì)面部圖像信息庫中的面部表情的情緒特征進(jìn)行訓(xùn)練，得到不同情緒狀態(tài)對(duì)應(yīng)的面部情緒模型，建立駕駛員情緒參考模式庫，利用訓(xùn)練得到的情緒模型進(jìn)行駕駛員面部情緒識(shí)別；

④面部情緒類型判斷：將采集到的駕駛員面部動(dòng)作特征與面部情緒參考模式庫中的情緒模型進(jìn)行模式匹配，對(duì)駕駛員的情緒狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，判斷駕駛員當(dāng)前面部情緒狀態(tài)。

3.根據(jù)權(quán)利要求1所述的一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)，其特征在于：所述語音情緒識(shí)別，具體為：

①語音信息預(yù)處理：將麥克風(fēng)采集到的駕駛員信息進(jìn)行降噪處理；

②駕駛員語音情緒參考模型庫生成：采用SVM分類算法，對(duì)語音庫中的語音片段進(jìn)行情緒識(shí)別訓(xùn)練，生成駕駛員語音情緒參考模型庫；

③語音特征提取：將采集到的駕駛員語音進(jìn)行MFCC特征及PLP-CC特征提取，得到語音情緒特征參數(shù)；

④語音情緒類型判斷：將提取到的駕駛員語音特征參數(shù)利用SVM分類器與駕駛員語音情緒參考模型庫進(jìn)行匹配，判斷駕駛員的情緒狀態(tài)。