[發明專利]多模態虛擬機器人交互方法和系統

有效

• 申請號: 201710519314.6
• 申請日: 2017-06-29
• 公開（公告）號: CN107340865B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 尚小維
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F16/9032;G06N3/00;G06T13/40
• 代理公司: 北京聿華聯合知識產權代理有限公司 11611
• 代理人: 朱繪;張文娟

本發明提供一種多模態虛擬機器人交互方法，包括以下步驟：啟用虛擬機器人，將虛擬機器人的形象在預設顯示區域中顯示，虛擬機器人具備設定性格和背景故事；獲取用戶發送的單模態和/或多模態交互指令；調用機器人能力接口對單模態和/或多模態交互指令進行解析，獲取交互指令意圖；根據當前應用場景和設定性格來篩選生成與設定性格和背景故事相關聯的多模態應答數據；虛擬機器人形象輸出多模態應答數據。本發明采用具有設定故事以及性格屬性的虛擬機器人進行對話交互使得用戶看起來是在與人對話。并且，本發明的虛擬機器人還具備根據設定的性格屬性和設定故事篩選生成多模態應答數據的功能，使得虛擬機器人對交互內容具備了一定的選擇性與主動性。

技術領域

本發明涉及人工智能領域，具體地說，涉及一種多模態虛擬機器人交互方法和系統。

背景技術

機器人聊天交互系統的開發致力于模仿人類對話。早期廣為人知的聊天機器人應用程序包括小i聊天機器人、蘋果手機上的siri聊天機器人等處理所接收到的輸入(包括文本或語音)并進行響應，以試圖在上下文之間模仿人類響應。

然而，要想使虛擬機器人具備人類的某些特性甚至是完全模仿人類對話，豐富用戶的交互體驗，現有的這些智能機器人遠遠達不到要求。

發明內容

為解決上述問題，本發明提供了一種多模態虛擬機器人交互方法，所述方法包括以下步驟：

啟用虛擬機器人，以將所述虛擬機器人的形象在預設顯示區域中顯示，所述虛擬機器人具備設定性格和背景故事；

獲取用戶發送的單模態和/或多模態交互指令；

調用機器人能力接口對所述單模態和/或多模態交互指令進行解析，獲取所述交互指令的意圖；

根據當前應用場景和所述設定性格來篩選生成與所述設定性格和所述背景故事相關聯的多模態應答數據；

通過所述虛擬機器人的形象輸出所述多模態應答數據。

根據本發明的一個實施例，觸發啟用虛擬機器人的事件的條件包括：

檢測到有特定的生物特征輸入；

或，裝載有虛擬機器人程序包的硬件被啟動；

或，該硬件裝載的指定系統、應用、指定功能被啟動。

根據本發明的一個實施例，調用機器人能力接口對所述單模態和/或多模態交互指令進行解析，獲取所述交互指令的意圖的步驟包括：

調用與所述設定背景故事和所述設定性格相適應的語音識別、視覺識別、語義理解、情感計算、認知計算、表情控制、動作控制接口。

根據本發明的一個實施例，在篩選生成與所述設定性格和所述背景故事相關聯的多模態應答數據的步驟中，進一步包括：

判斷所述單模態和/或多模態交互指令與所述設定性格是否相符；

當所述交互指令的意圖指向與所述設定性格指向不符，輸出表征拒絕的應答數據，所述應答數據可為多模態應答數據。

根據本發明的一個實施例，所述單模態和/或多模態交互指令包括娛樂、陪伴、助手應用場景下發出的交互指令。

根據本發明的一個實施例，虛擬機器人的存在形態并不限定如下方式中的任一項：

系統服務、平臺功能、應用中功能、單獨的應用、文本機器人匹配虛擬形象。

根據本發明的另一個方面，還提供了一種存儲介質，其上存儲有可執行以上任一項所述的方法步驟的程序代碼。

根據本發明的另一個方面，還提供了一種多模態虛擬機器人交互裝置，所述裝置包括：