[發明專利]多模態虛擬機器人的內容生成的方法和系統

有效

• 申請號: 201710588175.2
• 申請日: 2017-07-18
• 公開（公告）號: CN107480766B
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 黃釗
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06N3/00
• 分類號: G06N3/00
• 代理公司: 北京聿華聯合知識產權代理有限公司 11611
• 代理人: 朱繪;張文娟

本發明提供一種多模態虛擬機器人的內容生成的方法，方法包括以下步驟：進入生成日記內容模式，并以多模態形式輸出內容引導數據；內容引導數據通過一輪或多輪輸出，并接收用戶針對各引導數據所提供的應答數據；通過調用機器人能力接口，對應答數據進行語義理解和多模態解析，并對某輪引導數據的應答數據進行篩選以獲得較優日記素材；對日記素材按照日記邏輯融合生成日記內容，并以單模態和/或多模態形式輸出日記內容。本發明采用的多模態虛擬機器人的內容生成方法生成的日記的內容更加生動，更加豐富也更加有趣。另外，本發明具備內容引導功能以及自動生成日記內容的功能，因此使得沒有自主創造日記能力的用戶具備了創造生動日記的能力。

技術領域

本發明涉及人工智能領域，具體地說，涉及一種多模態虛擬機器人的內容生成的方法和系統。

背景技術

小學生或者初高中生，有通過寫日記來表達、記錄內心故事的需求和習慣。目前在人工智能技術結合日記寫作的各種方案中，大多數只是簡單地通過語音交互來進入/退出日記功能，而日記內容本身，全靠用戶自己的語音輸入。

所以，目前急需一種能夠利用多模態交互(含語音問答交互)的方式，幫助用戶方便的創造生動有趣的日記內容的多模態虛擬機器人的內容生成方法和系統。

發明內容

為解決上述問題，本發明提供了一種多模態虛擬機器人的內容生成的方法，所述方法包括以下步驟：

進入生成日記內容模式，并以多模態形式輸出內容引導數據；

所述內容引導數據通過一輪或多輪輸出，并接收用戶針對各引導數據所提供的應答數據；

通過調用機器人能力接口，對所述應答數據進行語義理解和多模態解析，并對某輪引導數據的應答數據進行篩選以獲得較優日記素材；

對所述日記素材按照日記邏輯融合生成日記內容，并以單模態和/或多模態形式輸出所述日記內容。

根據本發明的一個實施例，所述應答數據包括以下一種或幾種的組合：

應答音頻；

或，應答文本；

或，圖片文件；以及

或，視頻文件。

根據本發明的一個實施例，所述內容引導數據通過一輪或多輪輸出，包括：

所述多輪對話模式中，所述方法還包括以下步驟：

調用云端問題庫從中獲取所述提問引導數據并進行輸出，其中各個提問引導數據與一個交互話題相關聯或者與所述一個交互話題相關的多個子話題相關聯；

基于針對某輪應答數據的文本語義進行篩選，在應答數據的語義結果不佳時，更新引導下一輪引導數據的話題選擇。

根據本發明的一個實施例，多模態虛擬機器人的內容生成的方法還包括：

獲取與日記關聯的數據，作為所述日記素材，包括：

實時記錄用戶音頻數據；

或，捕捉用戶在場所中的圖像；

或，檢測用戶存儲至相冊中的圖片。

根據本發明的一個實施例，所述調用請求包含：

當前用戶發送的本地調用請求；和/或

通過網絡發送的遠程調用請求。

根據本發明的一個實施例，以單模態和/或多模態形式輸出所述日記內容包括：

本地輸出所述日記內容數據；和/或

通過互聯網分發給其他用戶。