[發(fā)明專利]多模態(tài)虛擬機器人的內容生成的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710588175.2
• 申請日: 2017-07-18
• 公開（公告）號: CN107480766B
• 公開（公告）日: 2021-01-22
• 發(fā)明（設計）人: 黃釗
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06N3/00
• 分類號: G06N3/00
• 代理公司: 北京聿華聯(lián)合知識產權代理有限公司 11611
• 代理人: 朱繪;張文娟

1.一種多模態(tài)虛擬機器人的內容生成的方法，其特征在于，所述方法包括以下步驟：

進入生成日記內容模式，并以多模態(tài)形式輸出內容引導數據，其中，針對用戶的日常習慣來輸出所述內容引導數據，通過用戶習慣模型，來記錄特定單個用戶的日常習慣，根據記錄的日常習慣來選取合適的所述內容引導數據；

所述內容引導數據通過一輪或多輪輸出，并接收用戶針對各引導數據所提供的應答數據；

通過調用機器人能力接口，對所述應答數據進行語義理解和多模態(tài)解析，并對某輪引導數據的應答數據進行篩選以獲得較優(yōu)日記素材，其中，判斷所述應答數據是否符合語義理解規(guī)則，對不符合語義理解規(guī)則的應答數據所對應的內容引導數據進行標記，基于標記歷史對內容引導數據進行評分，過濾掉不滿足評分值的內容引導數據以更新問題庫，在多輪對話模式中獲取滿足評分值的內容引導數據進行對話交互；

對所述日記素材按照日記邏輯融合生成日記內容，并以單模態(tài)和/或多模態(tài)形式輸出所述日記內容；

所述多輪對話模式中，所述方法還包括以下步驟：

調用云端問題庫從中獲取提問引導數據并進行輸出，其中各個提問引導數據與一個交互話題相關聯(lián)或者與所述一個交互話題相關的多個子話題相關聯(lián)；

基于針對某輪應答數據的文本語義進行篩選，在應答數據的語義結果不佳時，更新引導下一輪引導數據的話題選擇。

2.如權利要求1所述的多模態(tài)虛擬機器人的內容生成的方法，其特征在于，所述應答數據包括以下一種或幾種的組合：

應答音頻；

或，應答文本；

或，圖片文件；以及

或，視頻文件。

3.如權利要求1-2任一項所述的多模態(tài)虛擬機器人的內容生成的方法，其特征在于，還包括：

獲取與日記關聯(lián)的數據，作為所述日記素材，包括：

實時記錄用戶音頻數據；

或，捕捉用戶在場所中的圖像；

或，檢測用戶存儲至相冊中的圖片。

4.如權利要求1所述的多模態(tài)虛擬機器人的內容生成的方法，其特征在于，調用機器人能力接口的調用請求包含：

當前用戶發(fā)送的本地調用請求；和/或

通過網絡發(fā)送的遠程調用請求。

5.如權利要求1所述的多模態(tài)虛擬機器人的內容生成的方法，其特征在于，以單模態(tài)和/或多模態(tài)形式輸出所述日記內容包括：

本地輸出所述日記內容數據；和/或

通過互聯(lián)網分發(fā)給其他用戶。

6.一種多模態(tài)虛擬機器人的內容生成的系統(tǒng)，其特征在于，所述系統(tǒng)包括：

進入與引導模塊，其用于進入生成日記內容模式，并以多模態(tài)形式輸出內容引導數據，其中，針對用戶的日常習慣來輸出所述內容引導數據， 通過用戶習慣模型，來記錄特定單個用戶的日常習慣，根據記錄的日常習慣來選取合適的所述內容引導數據；

單/多輪輸出與接收模塊，所述內容引導數據通過一輪或多輪輸出，并接收用戶針對各引導數據所提供的應答數據；

解析與篩選模塊，其用于通過調用機器人能力接口，對所述應答數據進行語義理解和多模態(tài)解析，并對某輪引導數據的應答數據進行篩選以獲得較優(yōu)日記素材，其中，判斷所述應答數據是否符合語義理解規(guī)則，對不符合語義理解規(guī)則的應答數據所對應的內容引導數據進行標記，基于標記歷史對內容引導數據進行評分，過濾掉不滿足評分值的內容引導數據以更新問題庫，在多輪對話模式中獲取滿足評分值的內容引導數據進行對話交互；

融合與輸出模塊，其用于對所述日記素材按照日記邏輯融合生成日記內容，并以單模態(tài)和/或多模態(tài)形式輸出所述日記內容；

所述單/多輪輸出與接收模塊，包括：

所述多輪對話模式中，所述單/多輪輸出與接收模塊包括：

云端調用模塊，其用于調用云端問題庫從中獲取提問引導數據并進行輸出，其中各個提問引導數據與一個交互話題相關聯(lián)或者與所述一個交互話題相關的多個子話題相關聯(lián)；

篩選模塊，其用于基于針對某輪應答數據的文本語義進行篩選，在應答數據的語義結果不佳時，更新引導下一輪引導數據的話題選擇。

7.如權利要求6所述的多模態(tài)虛擬機器人的內容生成的系統(tǒng)，其特征在于，還包括：

獲取模塊，其用于獲取與日記關聯(lián)的數據，作為所述日記素材，包括：

音頻記錄模塊，其用于實時記錄用戶音頻數據；

或，圖像捕捉模塊，其用于捕捉用戶在場所中的圖像；

或，檢測模塊，其用于檢測用戶存儲至相冊中的圖片。