[發明專利]智能座艙的多模態交互方法、系統及具有其的智能座艙

有效

• 申請號: 202111428469.1
• 申請日: 2021-11-26
• 公開（公告）號: CN114327041B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 王丹;付曉寅;耿雷;陳杰;楊松;趙立峰
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06F40/30;G06T13/20;G06T13/40;G06T15/00;G10L13/02;G10L13/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 單冠飛

本申請公開了一種智能座艙的多模態交互方法、系統及具有其的智能座艙，涉及數據處理領域，具體涉及語音技術領域。具體實現方案為：獲取智能座艙的座艙狀態信息；將座艙狀態信息映射為對應的識別文本；根據識別文本，獲取對應的話術文本、話術語音、虛擬生命形象的面部數據和動作數據；根據話術語音、虛擬生命形象的面部數據和動作數據，生成目標虛擬生命形象的渲染畫面，并在第一顯示設備上播放目標虛擬生命形象的渲染畫面，在第二顯示設備上顯示話術文本。本申請可通過目標虛擬生命形象的表情、動作、語音、文字實現人機之間多模態交互方法，使得智能座艙內的人機交互過程更加接近人人交互。

技術領域

本申請涉及數據處理領域，具體涉及語音技術領域，尤其涉及一種智能座艙的多模態交互方法、系統及具有其的智能座艙。

背景技術

隨著互聯網、人工智能硬件及軟件技術的迅猛發展，智能網聯汽車作為一個全新的汽車體系出現在大眾視線。現有的車載語音交互方式，大多使用簡單的車載語音識別系統，交互過程較為生硬呆板，指令系統單一。

發明內容

本申請提供了一種智能座艙的多模態交互方法、系統及具有其的智能座艙。

根據本申請的第一方面，提供了一種智能座艙的多模態交互方法，包括：

獲取所述智能座艙的座艙狀態信息；

將所述座艙狀態信息映射為對應的識別文本；

根據所述識別文本，獲取對應的話術文本、話術語音、虛擬生命形象的面部數據和動作數據；

根據所述話術語音、所述虛擬生命形象的面部數據和動作數據，生成目標虛擬生命形象的渲染畫面，并在第一顯示設備上播放所述目標虛擬生命形象的渲染畫面，在第二顯示設備上顯示所述話術文本。

根據本申請的第二方面，提供了一種智能座艙的多模態交互系統，包括：主控芯片、從芯片和局域網通信模塊，其中，

所述局域網通信模塊，用于負責所述主控芯片、所述從芯片與所述智能座艙上車機系統之間的通信；

所述主控芯片，用于接收所述從芯片透傳的所述智能座艙的座艙狀態信息，并將所述座艙狀態信息映射為對應的識別文本，根據所述識別文本獲取對應的話術文本、話術語音、虛擬生命形象的面部數據和動作數據；

所述主控芯片，還用于根據所述話術語音、所述虛擬生命形象的面部數據和動作數據，生成目標虛擬生命形象的渲染畫面，并控制第一顯示設備播放所述目標虛擬生命形象的渲染畫面，將所述話術文本發送給所述從芯片；

所述從芯片，用于接收所述主控芯片發送的所述話術文本，并控制第二顯示設備顯示所述話術文本。

根據本申請的第三方面，提供了一種智能座艙的多模態交互裝置，包括：

第一獲取模塊，用于獲取所述智能座艙的座艙狀態信息；

映射模塊，用于將所述座艙狀態信息映射為對應的識別文本；

第二獲取模塊，用于根據所述識別文本，獲取對應的話術文本、話術語音、虛擬生命形象的面部數據和動作數據；

控制模塊，用于根據所述話術語音、所述虛擬生命形象的面部數據和動作數據，生成目標虛擬生命形象的渲染畫面，并在第一顯示設備上播放所述目標虛擬生命形象的渲染畫面，在第二顯示設備上顯示所述話術文本。

根據本申請的第四方面，提供了一種智能座艙，包括：前述第二方面所述的多模態交互系統。

根據本申請的第五方面，提供了一種智能座艙，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，