[發(fā)明專利]基于虛擬人的多模態(tài)交互處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711013415.2
• 申請日: 2017-10-26
• 公開（公告）號: CN107797663A
• 公開（公告）日: 2018-03-13
• 發(fā)明（設(shè)計）人: 尚小維;李曉丹
• 申請（專利權(quán)）人: 北京光年無限科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京聿華聯(lián)合知識產(chǎn)權(quán)代理有限公司11611
• 代理人: 朱繪,張文娟

1.一種基于虛擬人的多模態(tài)交互處理方法，其特征在于，所述虛擬人在智能設(shè)備運行，該方法包括如下步驟：

在虛擬人喚醒狀態(tài)時，所述虛擬人顯示在預(yù)設(shè)顯示區(qū)域內(nèi)，所述虛擬人具備特定明星人物的屬性；

獲取多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括來自周圍環(huán)境的數(shù)據(jù)及與用戶進行交互的多模態(tài)輸入數(shù)據(jù)；

調(diào)用虛擬人能力接口解析所述多模態(tài)輸入數(shù)據(jù)以獲取用戶針對該明星人物的技能展示意圖；

根據(jù)該明星人物的社會屬性、人格屬性和人物技能響應(yīng)所述技能展示意圖，輸出與所述技能展示意圖匹配的多模態(tài)輸出數(shù)據(jù)，所述多模態(tài)輸出數(shù)據(jù)包括但不限于：該明星人物聲音合成數(shù)據(jù)、歌曲及肢體動作；

將輸出的多模態(tài)輸出數(shù)據(jù)匹配虛擬人嘴型、面部表情、動作和/或肢體的執(zhí)行參數(shù)并展示在預(yù)設(shè)顯示區(qū)域內(nèi)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)該明星人物的社會屬性、人格屬性和人物技能響應(yīng)所述技能展示意圖的步驟包括：

獲取該明星人物的知識圖譜或與該明星人物關(guān)聯(lián)新聞，以此決策輸出多模態(tài)輸出數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

獲取當(dāng)前用戶的歷史交互記錄，以此篩選與當(dāng)前用戶適配的內(nèi)容作為多模態(tài)輸出數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

在多模態(tài)交互過程中，實時獲取硬件設(shè)備的狀態(tài)信息；

在所述狀態(tài)信息異常時，向用戶多模態(tài)輸出有關(guān)硬件設(shè)備異常的提示信息。

5.根據(jù)權(quán)利要求1～4中任一項所述的方法，其特征在于，

所述虛擬人由3D高模構(gòu)造成型。

6.根據(jù)權(quán)利要求1～5中任一項所述的方法，其特征在于，

所述虛擬人能力接口包括：語義理解接口、視覺識別接口、認(rèn)知計算接口、情感計算接口。

7.一種基于虛擬人的多模態(tài)交互處理系統(tǒng)，其特征在于，所述虛擬人在智能設(shè)備運行，該系統(tǒng)包括如下模塊：

虛擬人喚醒模塊，其在虛擬人喚醒狀態(tài)時，所述虛擬人顯示在預(yù)設(shè)顯示區(qū)域內(nèi)，所述虛擬人具備特定明星人物的屬性；

多模態(tài)數(shù)據(jù)獲取模塊，其獲取多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括來自周圍環(huán)境的數(shù)據(jù)及與用戶進行交互的多模態(tài)輸入數(shù)據(jù)；

多模態(tài)輸入數(shù)據(jù)解析模塊，其調(diào)用虛擬人能力接口解析所述多模態(tài)輸入數(shù)據(jù)以獲取用戶針對該明星人物的技能展示意圖；

多模態(tài)數(shù)據(jù)輸出模塊，其根據(jù)該明星人物的社會屬性、人格屬性和人物技能響應(yīng)所述技能展示意圖，輸出與所述技能展示意圖匹配的多模態(tài)輸出數(shù)據(jù)，所述多模態(tài)輸出數(shù)據(jù)包括但不限于：該明星人物聲音合成數(shù)據(jù)、歌曲及肢體動作；

執(zhí)行參數(shù)匹配模塊，其將輸出的多模態(tài)輸出數(shù)據(jù)匹配虛擬人嘴型、面部表情、動作和/或肢體的執(zhí)行參數(shù)并展示在預(yù)設(shè)顯示區(qū)域內(nèi)。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，

所述多模態(tài)數(shù)據(jù)輸出模塊，其進一步獲取該明星人物的知識圖譜或與該明星人物關(guān)聯(lián)新聞，以此決策輸出多模態(tài)輸出數(shù)據(jù)。

9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，

所述多模態(tài)數(shù)據(jù)輸出模塊，其進一步獲取當(dāng)前用戶的歷史交互記錄，以此篩選與當(dāng)前用戶適配的內(nèi)容作為多模態(tài)輸出數(shù)據(jù)。

10.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括：

硬件設(shè)備監(jiān)測模塊，其在多模態(tài)交互過程中，實時獲取硬件設(shè)備的狀態(tài)信息；

所述模態(tài)數(shù)據(jù)輸出模塊，其在所述狀態(tài)信息異常時，調(diào)取硬件報警應(yīng)用，向用戶多模態(tài)輸出有關(guān)硬件設(shè)備異常的報警信息。