[發(fā)明專利]基于虛擬人的多模態(tài)交互處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711013415.2
• 申請日: 2017-10-26
• 公開（公告）號: CN107797663A
• 公開（公告）日: 2018-03-13
• 發(fā)明（設(shè)計）人: 尚小維;李曉丹
• 申請（專利權(quán)）人: 北京光年無限科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京聿華聯(lián)合知識產(chǎn)權(quán)代理有限公司11611
• 代理人: 朱繪,張文娟

技術(shù)領(lǐng)域

本發(fā)明涉及人機交互領(lǐng)域，尤其涉及一種基于虛擬人的多模態(tài)交互處理方法及系統(tǒng)。

背景技術(shù)

隨著科學(xué)技術(shù)的不斷發(fā)展，信息技術(shù)、計算機技術(shù)以及人工智能技術(shù)的引入，機器人的研究已經(jīng)逐步走出工業(yè)領(lǐng)域，逐漸擴展到了醫(yī)療、保健、家庭、娛樂以及服務(wù)行業(yè)等領(lǐng)域。而人們對于機器人的要求也從簡單重復(fù)的機械動作提升為具有擬人問答、自主性及與其他機器人進行交互的智能機器人，人機交互也就成為決定智能機器人發(fā)展的重要因素。

目前機器人，包括具備實體的實體機器人和搭載在硬件設(shè)備上的虛擬機器人。現(xiàn)有技術(shù)中的虛擬機器人無法進行多模態(tài)交互，且一直呈現(xiàn)出固定不變的狀態(tài)，無法實現(xiàn)逼真、流暢、擬人的交互效果。因此，提升虛擬機器人的交互能力和呈現(xiàn)表現(xiàn)力，是現(xiàn)在亟需解決的重要問題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題之一是需要提供一種基于虛擬人的多模態(tài)交互處理方法及系統(tǒng)，實現(xiàn)了虛擬明星與用戶的多模態(tài)交互，可以做到語音、面部表情、情感、頭部、肢體融合，以呈現(xiàn)出逼真、流暢的人物交互效果，滿足用戶需求，改善了用戶體驗。

為了解決上述技術(shù)問題，本申請的實施例首先提供了一種基于虛擬人的多模態(tài)交互處理方法，所述虛擬人在智能設(shè)備運行，該方法包括如下步驟：在虛擬人喚醒狀態(tài)時，所述虛擬人顯示在預(yù)設(shè)顯示區(qū)域內(nèi)，所述虛擬人具備特定明星人物的屬性；獲取多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括來自周圍環(huán)境的數(shù)據(jù)及與用戶進行交互的多模態(tài)輸入數(shù)據(jù)；調(diào)用虛擬人能力接口解析所述多模態(tài)輸入數(shù)據(jù)以獲取用戶針對該明星人物的技能展示意圖；根據(jù)該明星人物的社會屬性、人格屬性和人物技能響應(yīng)所述技能展示意圖，輸出與所述技能展示意圖匹配的多模態(tài)輸出數(shù)據(jù)，所述多模態(tài)輸出數(shù)據(jù)包括但不限于：該明星人物聲音合成數(shù)據(jù)、歌曲及肢體動作；將輸出的多模態(tài)輸出數(shù)據(jù)匹配虛擬人嘴型、面部表情、動作和/或肢體的執(zhí)行參數(shù)并展示在預(yù)設(shè)顯示區(qū)域內(nèi)。

優(yōu)選地，根據(jù)該明星人物的社會屬性、人格屬性和人物技能響應(yīng)所述技能展示意圖的步驟包括：獲取該明星人物的知識圖譜或與該明星人物關(guān)聯(lián)新聞，以此決策輸出多模態(tài)輸出數(shù)據(jù)。

優(yōu)選地，還包括：獲取當(dāng)前用戶的歷史交互記錄，以此篩選與當(dāng)前用戶適配的內(nèi)容作為多模態(tài)輸出數(shù)據(jù)。

優(yōu)選地，還包括：在多模態(tài)交互過程中，實時獲取硬件設(shè)備的狀態(tài)信息；在所述狀態(tài)信息異常時，向用戶多模態(tài)輸出有關(guān)硬件設(shè)備異常的提示信息。

優(yōu)選地，所述虛擬人由3D高模構(gòu)造成型。

優(yōu)選地，所述虛擬人能力接口包括：語義理解接口、視覺識別接口、認(rèn)知計算接口、情感計算接口。

根據(jù)本發(fā)明實施例的另一方面，還提供了一種基于虛擬人的多模態(tài)交互處理系統(tǒng)，所述虛擬人在智能設(shè)備運行，該系統(tǒng)包括如下模塊：虛擬人喚醒模塊，其在虛擬人喚醒狀態(tài)時，所述虛擬人顯示在預(yù)設(shè)顯示區(qū)域內(nèi)，所述虛擬人具備特定明星人物的屬性；多模態(tài)數(shù)據(jù)獲取模塊，其獲取多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括來自周圍環(huán)境的數(shù)據(jù)及與用戶進行交互的多模態(tài)輸入數(shù)據(jù)；多模態(tài)輸入數(shù)據(jù)解析模塊，其調(diào)用虛擬人能力接口解析所述多模態(tài)輸入數(shù)據(jù)以獲取用戶針對該明星人物的技能展示意圖；多模態(tài)數(shù)據(jù)輸出模塊，其根據(jù)該明星人物的社會屬性、人格屬性和人物技能響應(yīng)所述技能展示意圖，輸出與所述技能展示意圖匹配的多模態(tài)輸出數(shù)據(jù)，所述多模態(tài)輸出數(shù)據(jù)包括但不限于：該明星人物聲音合成數(shù)據(jù)、歌曲及肢體動作；執(zhí)行參數(shù)展示模塊，其將輸出的多模態(tài)輸出數(shù)據(jù)匹配虛擬人嘴型、面部表情、動作和肢體的執(zhí)行參數(shù)并展示在預(yù)設(shè)顯示區(qū)域內(nèi)。

優(yōu)選地，所述多模態(tài)數(shù)據(jù)輸出模塊，其進一步獲取該明星人物的知識圖譜或與該明星人物關(guān)聯(lián)新聞，以此決策輸出多模態(tài)輸出數(shù)據(jù)。

優(yōu)選地，所述多模態(tài)數(shù)據(jù)輸出模塊，其進一步獲取當(dāng)前用戶的歷史交互記錄，以此篩選與當(dāng)前用戶適配的內(nèi)容作為多模態(tài)輸出數(shù)據(jù)。

優(yōu)選地，還包括：硬件設(shè)備監(jiān)測模塊，其在多模態(tài)交互過程中，實時獲取硬件設(shè)備的狀態(tài)信息；所述模態(tài)數(shù)據(jù)輸出模塊，其在所述狀態(tài)信息異常時，調(diào)取硬件報警應(yīng)用，向用戶多模態(tài)輸出有關(guān)硬件設(shè)備異常的報警信息。