[發明專利]用于智能機器人的多模態交互方法及裝置

有效

• 申請號: 201710034038.4
• 申請日: 2017-01-18
• 公開（公告）號: CN106933345B
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 魏彬彬
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 11611 北京聿華聯合知識產權代理有限公司
• 代理人: 張文娟;朱繪

本發明提供一種用于智能機器人的多模態交互方法和裝置。其中，該方法包括以下步驟：獲取用戶的多模態輸入信息；解析多模態輸入信息中所涉及物體或話題；獲取該用戶對該物體或該話題產生的腦電波信息，確定多模態人機交互策略，輸出對應的多模態輸出數據，所述腦電波信息攜帶用戶情緒信息。本發明通過基于腦電波確定的人機交互策略，結合該策略進行交互，可以增加交互話題，改善用戶不良情緒，提高智能機器人的智能性和類人性，增強用戶粘性。

技術領域

本發明涉及智能機器人領域，具體地說，涉及一種智能機器人的多模態交互方法及裝置。

背景技術

隨著科學技術的不斷發展，信息技術、計算機技術以及人工智能技術的引入，機器人的研究已經逐步走出工業領域，逐漸擴展到了醫療、保健、家庭、娛樂以及服務行業等領域。而人們對于機器人的要求也從簡單重復的機械動作提升為具有擬人問答、自主性及與其他機器人進行交互的智能機器人，人機交互也就成為決定智能機器人發展的重要因素，因此，提高智能機器人的人機交互能力，提升智能機器人的智能性，成為目前亟需解決的重要問題。

發明內容

本發明的目的在于解決現有技術的上述問題，提供一種用于智能機器人的多模態交互方法。所述方法包括以下步驟：

獲取用戶的多模態輸入信息；

解析多模態輸入信息中所涉及物體信息或話題信息；

獲取該用戶對該物體或該話題產生的腦電波信息，確定多模態人機交互策略，輸出對應的多模態輸出數據，所述腦電波信息攜帶用戶情緒信息。

根據本發明的用于智能機器人的多模態交互方法，優選的是，還包括通過如下步驟來預設多模態人機交互策略，

預先采集用戶在訓練環境中的視覺信息、聽覺信息和腦電波信息；

對所述腦電波信息進行解析，確定用戶的情緒；

對視覺信息和聽覺信息中涉及到的物體或話題進行基于情緒的標記，以生成關于物體或話題多模態輸出的策略信息。

根據本發明的用于智能機器人的多模態交互方法，優選的是，還包括：

在輸出多模態輸出數據之后，采集用戶對所述多模態輸出數據反饋的腦電波信息，以獲取該用戶的反饋情緒；

將用戶反饋的情緒重新確定多模態人機交互策略，輸出相匹配的多模態輸出數據。

根據本發明的用于智能機器人的多模態交互方法，優選的是，還包括：

獲取用戶當前情緒狀態并根據情緒狀態對所述預設的多模態人機交互策略進行調整；

所述情緒狀態通過采集腦電波信息方式獲取。

根據本發明的用于智能機器人的多模態交互方法，優選的是，所述的腦電波信息采用EEG設備采集。

根據本發明的另一方面，還提供了一種用于智能機器人的多模態交互裝置，所述裝置包括以下模塊：

多模態信息輸入模塊，其用以獲取用戶的多模態輸入信息；

多模態信息解析模塊，其用以解析多模態輸入信息中所涉及物體信息或話題信息；

多模態信息輸出模塊，其用以獲取該用戶對該物體或該話題產生的腦電波信息，確定多模態人機交互策略，輸出對應的多模態輸出數據，所述腦電波信息攜帶用戶情緒信息。

根據本發明的用于智能機器人的多模態交互裝置，優選的是，還包括策略預設模塊，其預設多模態人機交互策略，該模塊進一步包括如下單元：

信息采集單元，其用以預先采集用戶在訓練環境中的視覺信息、聽覺信息和腦電波信息；