[發(fā)明專利]虛擬人多模態(tài)交互數(shù)據(jù)處理方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711014777.3
• 申請日: 2017-10-26
• 公開（公告）號: CN107784355A
• 公開（公告）日: 2018-03-09
• 發(fā)明（設計）人: 尚小維;李賀超;李曉丹
• 申請（專利權(quán)）人: 北京光年無限科技有限公司
• 主分類號: G06N3/00
• 分類號: G06N3/00;G06F17/27;G06F17/30
• 代理公司: 北京聿華聯(lián)合知識產(chǎn)權(quán)代理有限公司11611
• 代理人: 朱繪,張文娟

1.一種虛擬人多模態(tài)交互數(shù)據(jù)處理方法，其特征在于，所述虛擬人搭載于具有操作系統(tǒng)的智能硬件設備中，所述虛擬人在被啟動后顯示在預設區(qū)域內(nèi)，并具備特定的形象、性格設定、社會屬性以及技能，所述虛擬人多模態(tài)交互數(shù)據(jù)處理方法包括以下步驟：

獲取多模態(tài)輸入數(shù)據(jù)；

調(diào)用機器人能力接口解析所述多模態(tài)輸入數(shù)據(jù)，并生成多模態(tài)輸出數(shù)據(jù)，其中包括應答數(shù)據(jù)；

將所述應答數(shù)據(jù)中的語音文件與所述虛擬人的頭部運動模型進行匹配，其中，所述語音文件包括：音頻旋律及文本切詞結(jié)果；

通過虛擬人的形象輸出頭部運動數(shù)據(jù)及其他多模態(tài)輸出數(shù)據(jù)，其中，所述多模態(tài)輸出數(shù)據(jù)與所述虛擬人的性格、屬性以及技能關聯(lián)。

2.如權(quán)利要求1所述的虛擬人多模態(tài)交互數(shù)據(jù)處理方法，其特征在于，在將所述應答數(shù)據(jù)中的語音文件與所述虛擬人的頭部模型進行匹配的步驟中包含以下步驟：

提取所述語音文件的音頻旋律節(jié)奏并將所述語音文件轉(zhuǎn)換為文本；

將所述文本進行切詞劃分，提取出實體分詞。

3.如權(quán)利要求2所述的虛擬人多模態(tài)交互數(shù)據(jù)處理方法，其特征在于，在將所述應答數(shù)據(jù)中的語音文件與所述虛擬人的頭部模型進行匹配的步驟中通過所述頭部模型執(zhí)行以下步驟：

依據(jù)所述旋律節(jié)奏以及所述實體分詞將所述文本的內(nèi)容進行分類，以確定所述頭部運動風格以及對應的頭部動作。

4.如權(quán)利要求3所述的虛擬人多模態(tài)交互數(shù)據(jù)處理方法，其特征在于，還包括：依據(jù)所述實體分詞的詞性及該實體分詞所屬領域分類詞組進行分類，以確定頭部運動風格以及對應的頭部動作。

5.如權(quán)利要求3所述的虛擬人多模態(tài)交互數(shù)據(jù)處理方法，其特征在于，在輸出所述多模態(tài)輸出數(shù)據(jù)的步驟中，還包括：根據(jù)所述虛擬人的社會屬性、性格設定以及當前場景選擇最優(yōu)的頭部運動數(shù)據(jù)來進行輸出，所述頭部運動數(shù)據(jù)包括：頭部運動動畫數(shù)據(jù)。

6.如權(quán)利要求3或5所述的虛擬人多模態(tài)交互數(shù)據(jù)處理方法，其特征在于，在輸出所述多模態(tài)輸出數(shù)據(jù)的步驟中，還將所述頭部運動數(shù)據(jù)的動畫播放時間點與對應的所述實體分詞在所述語音文件中的播放時間點進行匹配。

7.一種存儲介質(zhì)，其上存儲有可執(zhí)行如權(quán)利要求1-6中任一項所述的方法步驟的程序代碼。

8.一種虛擬人多模態(tài)交互數(shù)據(jù)處理裝置，其特征在于，所述虛擬人搭載于具有操作系統(tǒng)的智能硬件設備中，所述虛擬人在被啟動后顯示在預設區(qū)域內(nèi)，并具備特定的形象、性格設定、社會屬性以及技能，所述虛擬人多模態(tài)交互數(shù)據(jù)處理裝置包含：

獲取模塊，其用于獲取多模態(tài)輸入數(shù)據(jù)；

調(diào)用模塊，其用于調(diào)用機器人能力接口解析所述多模態(tài)輸入數(shù)據(jù)，并生成多模態(tài)輸出數(shù)據(jù)，其中包括應答數(shù)據(jù)；

匹配模塊，其用于將所述應答數(shù)據(jù)中的語音文件與所述虛擬人的頭部運動模型進行匹配，其中，所述語音文件包括：音頻旋律及文本切詞結(jié)果；

輸出模塊，其用于通過虛擬人的形象輸出頭部運動數(shù)據(jù)及其他多模態(tài)輸出數(shù)據(jù)，其中，所述多模態(tài)輸出數(shù)據(jù)與所述虛擬人的性格、屬性以及技能關聯(lián)。

9.如權(quán)利要求8所述的虛擬人多模態(tài)交互數(shù)據(jù)處理裝置，其特征在于，所述匹配模塊包含：

轉(zhuǎn)換單元，其用于提取所述語音文件的音頻旋律節(jié)奏并將所述語音文件轉(zhuǎn)換為文本；

提取單元，其用于將所述文本進行切詞劃分，提取出實體分詞。

10.一種虛擬人多模態(tài)交互數(shù)據(jù)處理系統(tǒng)，其特征在于，所述虛擬人搭載于具有操作系統(tǒng)的智能硬件設備中，所述虛擬人在被啟動后顯示在預設區(qū)域內(nèi)，并具備特定的形象、性格設定、社會屬性以及技能，所述虛擬人多模態(tài)交互數(shù)據(jù)處理系統(tǒng)包括：

硬件設備，包括：

獲取模塊，其用于獲取多模態(tài)輸入數(shù)據(jù)；

輸出模塊，其用于通過虛擬人的形象輸出頭部運動數(shù)據(jù)及其他多模態(tài)輸出數(shù)據(jù)，其中，所述多模態(tài)輸出數(shù)據(jù)與所述虛擬人的性格、屬性以及技能關聯(lián)；

云服務器，包括：

調(diào)用模塊，其用于調(diào)用機器人能力接口解析所述多模態(tài)輸入數(shù)據(jù)，并生成多模態(tài)輸出數(shù)據(jù)，其中包括應答數(shù)據(jù)；

匹配模塊，其用于將所述應答數(shù)據(jù)中的語音文件與所述虛擬人的頭部運動模型進行匹配，其中，所述語音文件包括：音頻旋律及文本切詞結(jié)果。