[發(fā)明專利]一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202210709323.2
• 申請日: 2022-06-22
• 公開（公告）號: CN115376508A
• 公開（公告）日: 2022-11-22
• 發(fā)明（設計）人: 陳萱儀;洪晨輝;孫東;陳芳
• 申請（專利權）人: 上海愛樂克智能科技有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L25/63;G06V10/74;G06V10/764;G06V20/40;G06V20/59;G06V40/16
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及車載語音控制領域，具體為一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)及方法，包括駕駛員信息采集模塊。駕駛員情緒狀態(tài)識別模塊和車載語音系統(tǒng)切換模塊，本發(fā)明中，通過駕駛員面部表情和語音雙模塊進行情緒狀態(tài)判斷，免除心率、血壓、腦電等生理信號采集和處理技術復雜、價格高昂的困擾，同時避免單一信息導致的情緒狀態(tài)判斷失誤，通過改變車載語音副語音特征這一簡單且可控的方式與駕駛員用車時的不同情緒狀態(tài)進行情緒匹配，不僅能夠避免駕駛員因極端情緒導致的用車安全事故，同時改善駕駛員駕駛表現(xiàn)和駕駛體驗，提高駕駛效率。

技術領域

本發(fā)明涉及車載語音控制領域，具體為一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)及方法。

背景技術

在車內交互領域，語音交互正在逐漸成為車內最自然和最安全的交互及控制手段，在使用語音交互進行車輛控制的領域內，行業(yè)普遍做法是使用相對固定的基于離線語音庫的方法進行產品設計，因而沒有考慮不同用戶不同用車狀態(tài)下的個性化交互及情感需求，用戶在不同情緒狀態(tài)下進行語音交互時，發(fā)出的聲音通常是固定不變的，導致車內語音系統(tǒng)無法與用戶實現(xiàn)情緒匹配，用戶用車體驗不佳，還可能會引起用戶的焦躁情緒，從而給行車安全帶來威脅。

用戶的行為、認知和態(tài)度受到狀態(tài)、個人的即時感受、知識和身體狀況的影響，最重要的用戶狀態(tài)是情緒，情緒可以有力地預測一個人的行為方式，情緒狀態(tài)——無論是短暫的情緒還是長期的情緒——幾乎影響了人們所做和經歷的一切，言語是情感信息的強大載體，已經表明，大多數(shù)基本情緒都與聲音的聲學特性有關，例如響度、基頻、頻率范圍和語速，例如，悲傷通常由緩慢而低沉的語音傳達，而快樂則與快速和響亮的語音相關，語音界面中的情感線索研究結果表明，情緒會影響績效，積極的情感狀態(tài)有利于解決問題和決策。

目前的研究表明，將汽車的聲音與駕駛員的情緒配對對駕駛員的表現(xiàn)和態(tài)度都有巨大的影響，對于實際和感知表現(xiàn)，沮喪的司機受益于柔和的語氣，而快樂的司機顯然受益于充滿活力的語氣，這表明汽車中的語音系統(tǒng)應當適應用戶的情緒狀態(tài)，與用戶情緒一致的語音相比，情緒不一致的語音更難處理，并導致駕駛員分心，汽車界面可以通過非常簡單且完全可控的方式可以對駕駛安全產生巨大影響，通過改變車載語音的副語言特征(語氣、語調)足以顯著提高駕駛表現(xiàn)，即使在相同的道路條件下，相同的聲音在相同的時間說出相同的詞，只需將車載語音從充滿活力和樂觀轉變?yōu)槿岷停涂梢詮母旧细淖凂{駛員的表現(xiàn)，車載語音可以通過改變語氣來影響事故數(shù)量、駕駛員對道路的感知注意力以及駕駛員與汽車的互動，為此我們提出了一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)及方法。

發(fā)明內容

本發(fā)明的目的在于提供一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)及方法，以解決上述背景技術中提出的問題。

為實現(xiàn)上述目的一種根據(jù)駕駛員情緒狀態(tài)切換的車載語音交互系統(tǒng)；

駕駛員信息采集模塊，所述駕駛員信息采集模塊包括面部圖像信息采集模塊和語音信息采集模塊，所述駕駛員信息采集模塊用于對駕駛員的面部圖像信息和語音信息進行采集；

駕駛員情緒狀態(tài)識別模塊，所述駕駛員情緒狀態(tài)識別模塊包括面部情緒識別和語音情緒識別，所述駕駛員情緒狀態(tài)識別模塊通過駕駛員信息采集模塊采集到的駕駛員數(shù)據(jù)信息，對駕駛員狀態(tài)情緒進行識別，判斷駕駛員所處情緒狀態(tài)；

車載語音系統(tǒng)切換模塊，所述車載語音系統(tǒng)切換模塊根據(jù)駕駛員情緒狀態(tài)，當駕駛員的某種駕駛相關情緒高于閾值時，切換預先設定好的不同副語言特征語音交互模式，與駕駛員進行情緒匹配。

優(yōu)選的：所述面部圖像情緒識別，具體為：

①面部圖像信息預處理：將攝像頭捕獲的駕駛員圖像視頻拆解成幀；

②面部信息圖像特征的提取：在駕駛員表情圖像上提取特征點，通過特征點找到當前對應的面部動作單元，將面部動作單元作為情緒狀態(tài)分類特征；