[發明專利]多模態虛擬機器人交互方法和系統

有效

• 申請號: 201710519314.6
• 申請日: 2017-06-29
• 公開（公告）號: CN107340865B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 尚小維
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F16/9032;G06N3/00;G06T13/40
• 代理公司: 北京聿華聯合知識產權代理有限公司 11611
• 代理人: 朱繪;張文娟

1.一種多模態虛擬機器人交互方法，其特征在于，所述方法包括以下步驟：

啟用虛擬機器人，以將所述虛擬機器人的形象在預設顯示區域中顯示，所述虛擬機器人具備設定性格和背景故事，其中，觸發啟用虛擬機器人的事件的條件包括：檢測到有特定的生物特征輸入或裝載有虛擬機器人程序包的硬件被啟動或該硬件裝載的指定系統、應用、指定功能被啟動；

獲取用戶發送的單模態和/或多模態交互指令；

調用機器人能力接口對所述單模態和/或多模態交互指令進行解析，獲取所述交互指令的意圖；

根據當前應用場景和所述設定性格來篩選生成與所述設定性格和所述背景故事相關聯的多模態應答數據，其中，判斷所述單模態和/或多模態交互指令與所述設定性格是否相符，當所述交互指令的意圖指向與所述設定性格指向不符，輸出表征拒絕的應答數據，所述應答數據可為多模態應答數據；

通過所述虛擬機器人的形象輸出所述多模態應答數據。

2.如權利要求1所述的多模態虛擬機器人交互方法，其特征在于，調用機器人能力接口對所述單模態和/或多模態交互指令進行解析，獲取所述交互指令的意圖的步驟包括：

調用與所述設定背景故事和所述設定性格相適應的語音識別、視覺識別、語義理解、情感計算、認知計算、表情控制、動作控制接口。

3.如權利要求1所述的多模態虛擬機器人交互方法，其特征在于，所述單模態和/或多模態交互指令包括娛樂、陪伴、助手應用場景下發出的交互指令。

4.如權利要求1所述的多模態虛擬機器人交互方法，其特征在于，虛擬機器人的存在形態并不限定如下方式中的任一項：

系統服務、平臺功能、應用中功能、單獨的應用、文本機器人匹配虛擬形象。

5.一種存儲介質，其上存儲有可執行如權利要求1-4中任一項所述的方法步驟的程序代碼。

6.一種多模態虛擬機器人交互裝置，其特征在于，所述裝置包括：

啟動顯示單元，其用于啟用虛擬機器人，以將所述虛擬機器人的形象在預設顯示區域中顯示，所述虛擬機器人具備設定性格和背景故事，其包含：檢測子單元，其用于檢測特定的生物特征輸入或，裝載有虛擬機器人程序包的硬件被啟動或，該硬件裝載的指定系統、應用、指定功能被啟動，顯示子單元，其用于將所述虛擬機器人的形象在預設顯示區域中顯示；

獲取單元，其用于獲取用戶發送的單模態和/或多模態交互指令；

調用單元，其用于調用機器人能力接口對所述單模態和/或多模態交互指令進行解析，獲取所述交互指令的意圖；

生成單元，其用于根據當前應用場景和所述設定性格來篩選生成與所述設定性格和所述背景故事相關聯的多模態應答數據，其包含：判斷子單元，其用于判斷所述單模態和/或多模態交互指令與所述設定性格是否相符，拒絕子單元，其用于當所述交互指令的意圖指向與所述設定性格指向不符，輸出表征拒絕的應答數據，所述應答數據可為多模態應答數據；

輸出單元，其用于通過所述虛擬機器人的形象輸出所述多模態應答數據。

7.如權利要求6所述的多模態虛擬機器人交互裝置，其特征在于，所述裝置包括：

與所述設定背景故事和所述設定性格相適應的語音識別子單元、視覺識別子單元、語義理解子單元、情感計算子單元、認知計算子單元、表情控制子單元以及動作控制子單元。

8.如權利要求6所述的多模態虛擬機器人交互裝置，其特征在于，所述裝置包含場景選擇單元，其用于選擇應用場景，其中，應用場景包含娛樂應用場景、陪伴應用場景以及助手應用場景。

9.如權利要求6-8中任一項所述的多模態虛擬機器人交互裝置，其特征在于，所述裝置包含支持所述虛擬機器人的存在形態并不限定如下方式中的任一項進行多模態交互的組件：

系統服務、平臺功能、應用中功能、單獨的應用、文本機器人匹配虛擬形象。

10.一種多模態虛擬機器人交互系統，其特征在于，所述系統包括：

目標硬件設備，用于顯示具備設定背景故事和設定性格的虛擬機器人形象，并具有接收用戶發送的的單模態和/或多模態交互指令的能力以及輸出多模態應答數據的能力，其包含：生物特征檢測模塊，其用于檢測是否有特定的生物特征輸入，以及，檢測裝載有虛擬機器人程序包的硬件被啟動，或該硬件裝載的指定系統、應用、指定功能被啟動；

云端服務器，其與所述目標硬件設備進行通信，并提供多模態機器人能力接口，用于執行以下步驟：

調用機器人能力接口對所述單模態和/或多模態交互指令進行解析，獲取所述交互指令的意圖；

根據當前應用場景和所述設定性格來篩選生成與所述設定性格和所述背景故事相關聯的多模態應答數據，其中，判斷所述單模態和/或多模態交互指令與所述設定性格是否相符，當所述交互指令的意圖指向與所述設定性格指向不符，輸出表征拒絕的應答數據，所述應答數據可為多模態應答數據。