[發(fā)明專利]多模態(tài)虛擬人的應(yīng)用數(shù)據(jù)處理方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710810905.9
• 申請(qǐng)日: 2017-09-08
• 公開（公告）號(hào): CN107632706B
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 李曉丹;尚小維
• 申請(qǐng)（專利權(quán)）人: 北京光年無限科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F21/44
• 代理公司: 北京聿華聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11611
• 代理人: 朱繪;張文娟

本發(fā)明提供一種多模態(tài)虛擬人的應(yīng)用數(shù)據(jù)處理方法，其包括以下步驟：?jiǎn)拘烟摂M人，以使虛擬人顯示在預(yù)設(shè)區(qū)域內(nèi)，虛擬人具備特定的性格和屬性；獲取用戶多模態(tài)交互數(shù)據(jù)；調(diào)用機(jī)器人能力接口解析多模態(tài)交互數(shù)據(jù)，獲取針對(duì)當(dāng)前硬件所運(yùn)行的操作系統(tǒng)的操作指令；向操作系統(tǒng)發(fā)出操作請(qǐng)求，以在操作系統(tǒng)上生成操作事件；由操作系統(tǒng)對(duì)所述操作請(qǐng)求進(jìn)行響應(yīng)作為操作事件的執(zhí)行結(jié)果；以多模態(tài)的形式對(duì)操作事件的執(zhí)行結(jié)果進(jìn)行輸出展示。本發(fā)明提供的多模態(tài)虛擬人的應(yīng)用數(shù)據(jù)處理方法和系統(tǒng)能夠以多模態(tài)的形式與用戶展開內(nèi)容詳實(shí)的交互。并且，還能夠在系統(tǒng)層面輔助用戶對(duì)硬件設(shè)備的應(yīng)用以及功能進(jìn)行控制，與用戶交互的更加豐富，更加多樣。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能領(lǐng)域，具體地說，涉及一種多模態(tài)虛擬人的應(yīng)用數(shù)據(jù)處理方法和系統(tǒng)。

背景技術(shù)

虛擬人一般指能夠與用戶完成交互，與用戶進(jìn)行信息交換的信息傳遞系統(tǒng)。目前的虛擬人雖然能夠?qū)崿F(xiàn)與用戶的交互，但是沒有虛擬人能夠在系統(tǒng)層面，作為助手輔助用戶對(duì)硬件設(shè)備應(yīng)用及功能進(jìn)行控制。

因此，急需一種具有在系統(tǒng)層面與用戶進(jìn)行交互的多模態(tài)虛擬人的應(yīng)用數(shù)據(jù)處理方法和系統(tǒng)。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種多模態(tài)虛擬人的應(yīng)用數(shù)據(jù)處理方法，所述方法包括以下步驟：

喚醒虛擬人，以使所述虛擬人顯示在預(yù)設(shè)區(qū)域內(nèi)，所述虛擬人具備特定的性格和屬性；

獲取用戶多模態(tài)交互數(shù)據(jù)；

調(diào)用機(jī)器人能力接口解析所述多模態(tài)交互數(shù)據(jù)，獲取針對(duì)當(dāng)前硬件所運(yùn)行的操作系統(tǒng)的操作指令；

向所述操作系統(tǒng)發(fā)出操作請(qǐng)求，以在所述操作系統(tǒng)上生成操作事件，其中，所述操作請(qǐng)求與所述虛擬人的性格以及屬性有關(guān)聯(lián)；

由所述操作系統(tǒng)對(duì)所述操作請(qǐng)求進(jìn)行響應(yīng)作為所述操作事件的執(zhí)行結(jié)果；

以多模態(tài)的形式對(duì)所述操作事件的執(zhí)行結(jié)果進(jìn)行輸出展示。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，如權(quán)利要求1所述的多模態(tài)虛擬人的應(yīng)用數(shù)據(jù)處理方法，其特征在于，所述虛擬人通過可執(zhí)行文件接口接入所述操作系統(tǒng)；

和/或，

與操作系統(tǒng)上安裝的應(yīng)用或文件進(jìn)行操作權(quán)限的設(shè)置進(jìn)行接入。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述解析包含但不限于：對(duì)所述多模態(tài)交互數(shù)據(jù)的語(yǔ)義理解、視覺識(shí)別、認(rèn)知計(jì)算以及情感計(jì)算。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述操作請(qǐng)求生成時(shí)，所述虛擬人向用戶發(fā)送確認(rèn)信息，以確認(rèn)所述操作請(qǐng)求的準(zhǔn)確性。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，對(duì)所述操作請(qǐng)求進(jìn)行響應(yīng)的步驟包括，在所述操作系統(tǒng)獲取權(quán)限認(rèn)證的基礎(chǔ)上，所述操作系統(tǒng)響應(yīng)所述操作請(qǐng)求。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，以多模態(tài)的形式對(duì)所述操作事件的執(zhí)行結(jié)果進(jìn)行輸出展示包括文本顯示、語(yǔ)音輸出、頭部動(dòng)作、肢體動(dòng)作以及表情的輸出。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述虛擬人通過3D高模構(gòu)建。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述方法包括，所述虛擬人在用戶輸入為零輸入時(shí)，獲取用戶當(dāng)前狀態(tài)數(shù)據(jù)，并結(jié)合所述操作系統(tǒng)的當(dāng)前運(yùn)行狀態(tài)，并將所述操作系統(tǒng)的應(yīng)用以及功能向用戶進(jìn)行推薦。

根據(jù)本發(fā)明的另一個(gè)方面，還提供一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有可執(zhí)行以上任一項(xiàng)所述的方法步驟的程序代碼。

根據(jù)本發(fā)明的另一個(gè)方面，還提供一種多模態(tài)虛擬人的應(yīng)用數(shù)據(jù)處理裝置，所述裝置包含：

喚醒模塊，其用于喚醒虛擬人，以使所述虛擬人顯示在預(yù)設(shè)區(qū)域內(nèi)，所述虛擬人具備特定的性格和屬性；

獲取模塊，其用于獲取用戶多模態(tài)交互數(shù)據(jù)；