[發明專利]虛擬人多模態交互數據處理方法和系統

在審

• 申請號: 201711014777.3
• 申請日: 2017-10-26
• 公開（公告）號: CN107784355A
• 公開（公告）日: 2018-03-09
• 發明（設計）人: 尚小維;李賀超;李曉丹
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06N3/00
• 分類號: G06N3/00;G06F17/27;G06F17/30
• 代理公司: 北京聿華聯合知識產權代理有限公司11611
• 代理人: 朱繪,張文娟

技術領域

本發明涉及人工智能領域，具體地說，涉及一種虛擬人多模態交互數據處理方法和系統。

背景技術

機器人聊天交互系統的開發致力于模仿人類對話。早期廣為人知的聊天機器人應用程序包括小i聊天機器人、蘋果手機上的siri聊天機器人等處理所接收到的輸入(包括文本或語音)并進行響應，以試圖在上下文之間模仿人類響應。

然而，要想完全模仿人類進行多模態交互，豐富用戶的交互體驗，現有的這些機器人聊天系統遠遠達不到要求。

發明內容

為解決上述問題，本發明提供了一種虛擬人多模態交互數據處理方法，所述虛擬人搭載于具有操作系統的智能硬件設備中，所述虛擬人在被啟動后顯示在預設區域內，并具備特定的形象、性格設定、社會屬性以及技能，所述虛擬人多模態交互數據處理方法包括以下步驟：

獲取多模態輸入數據；

調用機器人能力接口解析所述多模態輸入數據，并生成多模態輸出數據，其中包括應答數據；

將所述應答數據中的語音文件與所述虛擬人的頭部運動模型進行匹配，其中，所述語音文件包括：音頻旋律及文本切詞結果；

通過虛擬人的形象輸出頭部運動數據及其他多模態輸出數據，其中，所述多模態輸出數據與所述虛擬人的性格、屬性以及技能關聯。

根據本發明的一個實施例，在將所述應答數據中的語音文件與所述虛擬人的頭部模型進行匹配的步驟中包含以下步驟：

提取所述語音文件的音頻旋律節奏并將所述語音文件轉換為文本；

將所述文本進行切詞劃分，提取出實體分詞。

根據本發明的一個實施例，在將所述應答數據中的語音文件與所述虛擬人的頭部模型進行匹配的步驟中通過所述頭部模型執行以下步驟：

依據所述旋律節奏以及所述實體分詞將所述文本的內容進行分類，以確定所述頭部運動風格以及對應的頭部動作。

根據本發明的一個實施例，還包括：依據所述實體分詞的詞性及該實體分詞所屬領域分類詞組進行分類，以確定頭部運動風格以及對應的頭部動作。

根據本發明的一個實施例，在輸出所述多模態輸出數據的步驟中，還包括：根據所述虛擬人的社會屬性、性格設定以及當前場景選擇最優的頭部運動數據來進行輸出，所述頭部運動數據包括：頭部運動動畫數據。

根據本發明的一個實施例，在輸出所述多模態輸出數據的步驟中，還將所述頭部運動數據的動畫播放時間點與對應的所述實體分詞在所述語音文件中的播放時間點進行匹配。

根據本發明的另一個方面，還提供了一種存儲介質，其上存儲有可執行如上所述中任一項所述的方法步驟的程序代碼。

根據本發明的另一個方面，還提供了一種虛擬人多模態交互數據處理裝置，所述虛擬人搭載于具有操作系統的智能硬件設備中，所述虛擬人在被啟動后顯示在預設區域內，并具備特定的形象、性格設定、社會屬性以及技能，所述虛擬人多模態交互數據處理裝置包含：

獲取模塊，其用于獲取多模態輸入數據；

調用模塊，其用于調用機器人能力接口解析所述多模態輸入數據，并生成多模態輸出數據，其中包括應答數據；

匹配模塊，其用于將所述應答數據中的語音文件與所述虛擬人的頭部運動模型進行匹配，其中，所述語音文件包括：音頻旋律及文本切詞結果；

輸出模塊，其用于通過虛擬人的形象輸出頭部運動數據及其他多模態輸出數據，其中，所述多模態輸出數據與所述虛擬人的性格、屬性以及技能關聯。

根據本發明的一個實施例，所述匹配模塊包含：

轉換單元，其用于提取所述語音文件的音頻旋律節奏并將所述語音文件轉換為文本；

提取單元，其用于將所述文本進行切詞劃分，提取出實體分詞。

根據本發明的另一個方面，還提供了一種虛擬人多模態交互數據處理系統，所述虛擬人搭載于具有操作系統的智能硬件設備中，所述虛擬人在被啟動后顯示在預設區域內，并具備特定的形象、性格設定、社會屬性以及技能，所述虛擬人多模態交互數據處理系統包括：

硬件設備，包括：

獲取模塊，其用于獲取多模態輸入數據；

輸出模塊，其用于通過虛擬人的形象輸出頭部運動數據及其他多模態輸出數據，其中，所述多模態輸出數據與所述虛擬人的性格、屬性以及技能關聯；

云服務器，包括：

調用模塊，其用于調用機器人能力接口解析所述多模態輸入數據，并生成多模態輸出數據，其中包括應答數據；