[發明專利]用于講故事機器人的多模態交互方法及系統

有效

• 申請號: 201811057250.3
• 申請日: 2018-09-11
• 公開（公告）號: CN109359177B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 賈志強
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G09B5/04;B25J11/00
• 代理公司: 北京聿華聯合知識產權代理有限公司 11611
• 代理人: 張文娟;朱繪

1.一種用于講故事機器人的多模態交互方法，其特征在于，該方法包括如下步驟：

響應講故事指令并輸出與講故事指令對應的故事內容，同時，實時監測是否有來自用戶輸入的多模態輸入數據；

解析所述多模態輸入數據，并當用戶發起提問時，決策向用戶輸出的多模態輸出數據，其中，當用戶發起提問時，生成打斷指令，控制停止輸出當前故事內容；查詢當前故事對應的問答知識數據庫是否存在匹配的答案，若不存在，則進一步通過公用數據庫查詢并輸出；

其中，解析所述多模態輸入數據的過程中，包括將識別到的語音信息轉換為文本信息，利用關鍵詞判斷、以及對應的模糊判斷方法來判斷文本信息中是否體現了用戶發起提問；還包括識別用戶的表情，結合用戶的語音信息判斷出用戶是否發起提問；所述問答知識數據庫為預先構建而成的，所構建的問答知識數據庫中保存有多條匹配的問題和答案以及與同一主題相關聯的主題標簽，在確定目標語義后，從該問答知識數據庫查找與該目標語義匹配的主題標簽，如果查找到了該主題標簽，則進一步查找與問題匹配的答案信息，以作為回答用戶的多模態輸出數據；如果查找主題標簽失敗，則進一步生成查詢請求，通過公用數據庫來查詢正確的答案并輸出給用戶；當查找問答知識數據庫和公用數據庫無果后，則從串場詞庫中調用合適的串場詞以語音的形式輸出給用戶，或者在回答用戶答案后，從串場詞庫中選擇合適的串場詞輸出給用戶；

根據待講故事中預設的故事節點，所述講故事機器人向用戶主動發起與該故事情節相關的提問；根據用戶回復，決策向用戶輸出的多模態輸出數據。

2.根據權利要求1所述的方法，其特征在于，還包括：

判斷在該預設的故事節點是否存在其他的與該故事情節相關的問題，若存在，則以存在的其他問題向用戶再次發起提問。

3.一種存儲介質，其上存儲有可執行如權利要求1或2所述的方法步驟的程序代碼。

4.一種用于講故事機器人的多模態交互裝置，其特征在于，該裝置包括如下模塊：

多模態數據輸出模塊，其響應講故事指令并輸出與講故事指令對應的故事內容；

多模態數據輸入模塊，其實時監測是否有來自用戶輸入的多模態輸入數據；

多模態數據解析模塊，其解析所述多模態輸入數據，并當用戶發起提問時，決策向用戶輸出的多模態輸出數據，所述多模態數據解析模塊配置為包括：打斷模塊，其當用戶發起提問時，生成打斷指令，控制停止輸出當前故事內容；檢索模塊，其當用戶發起提問時，查詢當前故事對應的問答知識數據庫是否存在匹配的答案，若不存在，則進一步通過公用數據庫查詢并輸出；

所述多模態數據解析模塊還配置為包括：提問模塊，其根據待講故事中預設的故事節點，向用戶主動發起與該故事情節相關的提問；

決策模塊，其根據用戶回復，決策向用戶輸出的多模態輸出數據

其中，所述多模態數據解析模塊通過以下操作解析所述多模態輸入數據判斷用戶是否發起提問：將識別到的語音信息轉換為文本信息，利用關鍵詞判斷、以及對應的模糊判斷方法來判斷文本信息中是否體現了用戶發起提問；還包括識別用戶的表情，結合用戶的語音信息判斷出用戶是否發起提問；

所述問答知識數據庫為預先構建而成的，所構建的問答知識數據庫中保存有多條匹配的問題和答案以及與同一主題相關聯的主題標簽，所述檢索模塊，其在確定目標語義后，從該問答知識數據庫查找與該目標語義匹配的主題標簽，如果查找到了該主題標簽，則進一步查找與問題匹配的答案信息，以作為回答用戶的多模態輸出數據；如果查找主題標簽失敗，則進一步生成查詢請求，通過公用數據庫來查詢正確的答案并輸出給用戶；當查找問答知識數據庫和公用數據庫無果后，則從串場詞庫中調用合適的串場詞以語音的形式輸出給用戶，或者在回答用戶答案后，從串場詞庫中選擇合適的串場詞輸出給用戶。

5.根據權利要求4所述的裝置，其特征在于，多模態數據解析模塊配置為：包括：

問題判斷模塊，其判斷在該預設的故事節點是否存在其他的與該故事情節相關的問題，若存在，則以存在的其他問題向用戶再次發起提問。

6.一種兒童專用設備，其特征在于，運行權利要求1或2所述的多模態交互方法。

7.一種多模態交互系統，其特征在于，該系統包括：

如權利要求6所述的兒童專用設備；

云服務器，其包括多模態數據解析模塊。