[發明專利]智能座艙的多模態交互方法、系統及具有其的智能座艙

有效

• 申請號: 202111428469.1
• 申請日: 2021-11-26
• 公開（公告）號: CN114327041B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 王丹;付曉寅;耿雷;陳杰;楊松;趙立峰
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06F40/30;G06T13/20;G06T13/40;G06T15/00;G10L13/02;G10L13/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 單冠飛

1.一種智能座艙的多模態交互方法，包括：

獲取所述智能座艙的座艙狀態信息；

將所述座艙狀態信息映射為對應的識別文本；

根據所述識別文本，獲取對應的話術文本、話術語音、虛擬生命形象的面部數據和動作數據；

根據所述話術語音、所述虛擬生命形象的面部數據和動作數據，生成目標虛擬生命形象的渲染畫面，并在第一顯示設備上播放所述目標虛擬生命形象的渲染畫面，在第二顯示設備上顯示所述話術文本；

所述方法，還包括：

根據所述識別文本，獲取對應的座艙狀態語義信息；

根據所述座艙狀態語義信息生成對應的車控指令；

將所述車控指令發送給車機系統；所述車控指令用于指示所述車機系統對所述智能座艙進行相應控制。

2.根據權利要求1所述的方法，其中，所述根據所述識別文本，獲取對應的話術文本、話術語音、虛擬生命形象的面部數據和動作數據，包括：

將所述識別文本發送給云端服務器；

從所述云端服務器獲取與所述識別文本對應的話術文本、話術語音、虛擬生命形象的面部數據和動作數據。

3.根據權利要求1所述的方法，還包括：

在第一顯示設備上播放所述目標虛擬生命形象的渲染畫面時，將所述智能座艙設置為全雙工語音交互狀態；

獲取所述智能座艙上麥克風采集到的第一語音信息；

對所述第一語音信息進行語音識別，獲得對應的第一文本信息；

從云端服務器獲取與所述第一文本信息對應的第一語義信息、第一話術語音、虛擬生命形象的第一面部數據和第一動作數據；

根據所述第一話術語音、所述虛擬生命形象的第一面部數據和第一動作數據，生成目標虛擬生命形象的第一渲染畫面，并在第一顯示設備上播放所述目標虛擬生命形象的第一渲染畫面；

根據所述第一文本信息和所述第一語義信息生成對應的第一車控指令；

將所述第一車控指令發送給車機系統；所述第一車控指令用于指示所述車機系統執行相應操作。

4.根據權利要求1所述的方法，還包括：

獲取所述智能座艙上麥克風采集到的第二語音信息，并對所述第二語音信息進行語音識別，獲得對應的第二文本信息；

響應于所述第二文本信息中包含預設喚醒詞，將所述智能座艙設置為全雙工語音交互狀態，并觸發所述智能座艙的多模態交互流程。

5.一種智能座艙的多模態交互系統，包括：主控芯片、從芯片和局域網通信模塊，其中，

所述局域網通信模塊，用于負責所述主控芯片、所述從芯片與所述智能座艙上車機系統之間的通信；

所述主控芯片，用于接收所述從芯片透傳的所述智能座艙的座艙狀態信息，并將所述座艙狀態信息映射為對應的識別文本，根據所述識別文本獲取對應的話術文本、話術語音、虛擬生命形象的面部數據和動作數據；

所述主控芯片，還用于根據所述話術語音、所述虛擬生命形象的面部數據和動作數據，生成目標虛擬生命形象的渲染畫面，并控制第一顯示設備播放所述目標虛擬生命形象的渲染畫面，將所述話術文本發送給所述從芯片；

所述從芯片，用于接收所述主控芯片發送的所述話術文本，并控制第二顯示設備顯示所述話術文本；

所述主控芯片，還用于根據所述識別文本，獲取對應的座艙狀態語義信息；根據所述座艙狀態語義信息生成對應的車控指令，并將所述車控指令經所述從芯片透傳給所述車機系統；所述車控指令用于指示所述車機系統對所述智能座艙進行相應控制。