[發明專利]一種基于虛擬人的多模態交互輸出方法及系統

在審

• 申請號: 201711162023.2
• 申請日: 2017-11-21
• 公開（公告）號: CN107944542A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 徐強;尚小維
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06N3/00
• 分類號: G06N3/00;G10L15/26;G10L25/63;G06F17/27
• 代理公司: 北京智信禾專利代理有限公司11637
• 代理人: 吳肖肖

1.一種基于虛擬人的多模態交互輸出方法，其特征在于，所述虛擬人在智能設備運行，包括：

獲取多模態數據，所述多模態數據中至少包含語音數據；

解析所述多模態數據，以獲得所述語音數據中的語義數據和情感數據；

將所述語義數據和所述情感數據與所述虛擬人的面部參量進行匹配，生成面部仿生數據并輸出。

2.根據權利要求1所述的方法，其特征在于，獲取多模態數據之前，還包括：

喚醒虛擬人，使所述虛擬人顯示在預設的顯示區域內。

3.根據權利要求1所述的方法，其特征在于，將所述語義數據和所述情感數據與所述虛擬人的面部參量進行匹配，生成面部仿生數據并輸出包括：

根據所述語義數據進行切詞，將切詞結果與所述虛擬人的嘴型模型進行匹配，以生成嘴部仿生數據并輸出；

為所述情感數據設置情感標簽；

根據所述情感標簽選擇對應的面部參量集合，以配合所述嘴型模型的嘴部仿生數據。

4.根據權利要求1至3任意一項所述的方法，其特征在于，所述虛擬人的面部參量包括所述面部骨骼、所述皮膚褶皺、所述面部肌群和/或所述面部膚色。

5.根據權利要求4所述的方法，其特征在于，所述面部參量集合包括但不限于：

所述面部骨骼與所述面部肌群運動的仿生協同數據；

所述面部骨骼與所述皮膚褶皺運動的仿生協同數據；

所述皮膚褶皺與所述面部肌群運動的仿生協同數據；或者

所述面部骨骼、所述皮膚褶皺、所述面部肌群和/或所述面部膚色的仿生協同數據。

6.根據權利要求1所述的方法，其特征在于，所述虛擬人通過3D高模構建生成，具備預設的形象及技能；

所述虛擬人包括運行在所述智能設備上的應用程序、可執行文件或通過所述智能設備投射出的全息影像。

7.根據權利要求6所述的方法，其特征在于，所述智能設備使用的系統包括但不限于WINDOWS系統、MAC OS系統或全息設備內置系統。

8.根據權利要求2所述的方法，其特征在于，所述預設的顯示區域包括所述智能設備的顯示界面或所述智能設備的投射區域。

9.一種基于虛擬人的多模態交互輸出系統，其特征在于，包括智能設備和服務器，所述虛擬人在智能設備運行，其中：

所述智能設備獲取多模態數據，所述多模態數據中至少包含語音數據；

所述服務器解析所述多模態數據，以獲得所述語音數據中的語義數據和情感數據；

所述服務器將所述語義數據和所述情感數據與所述虛擬人的面部參量進行匹配，生成面部仿生數據；

所述智能設備接收所述面部仿生數據并輸出。

10.根據權利要求9所述的系統，其特征在于，所述服務器解析所述多模態數據具體實現為：

根據所述語義數據進行切詞，將切詞結果與所述虛擬人的嘴型模型進行匹配，以生成嘴部仿生數據并輸出；

為所述情感數據設置情感標簽；

根據所述情感標簽選擇對應的面部參量集合，以配合所述嘴型模型的嘴部仿生數據。

11.一種虛擬人，其特征在于，所述虛擬人在智能設備運行，所述虛擬人執行權利要求1-8任意一項所述的方法。

12.一種智能設備，其特征在于，所述智能設備上運行權利要求11所述的虛擬人。

13.一種計算機可讀存儲介質，其特征在于，其存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-8任意一項所述方法的步驟。