[發(fā)明專利]用于智能機(jī)器人的多模態(tài)交互方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710034038.4
• 申請(qǐng)日: 2017-01-18
• 公開(kāi)（公告）號(hào): CN106933345B
• 公開(kāi)（公告）日: 2020-02-07
• 發(fā)明（設(shè)計(jì)）人: 魏彬彬
• 申請(qǐng)（專利權(quán)）人: 北京光年無(wú)限科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01
• 代理公司: 11611 北京聿華聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 張文娟;朱繪

1.一種用于智能機(jī)器人的多模態(tài)交互方法，其特征在于，所述方法包括以下步驟：

獲取用戶的多模態(tài)輸入信息；

解析多模態(tài)輸入信息中所涉及物體信息或話題信息；

獲取該用戶對(duì)該物體或該話題產(chǎn)生的腦電波信息，根據(jù)所述腦電波信息對(duì)應(yīng)的情緒信息從預(yù)設(shè)的關(guān)于該用戶的多模態(tài)人機(jī)交互策略中查找對(duì)應(yīng)的多模態(tài)輸出數(shù)據(jù)，按照預(yù)設(shè)優(yōu)先級(jí)輸出最匹配當(dāng)前情緒的多模態(tài)輸出數(shù)據(jù)，以改善用戶不良情緒，其中，

預(yù)先采集用戶在訓(xùn)練環(huán)境中的用于誘發(fā)不同情緒的視覺(jué)信息和聽(tīng)覺(jué)信息、以及在相應(yīng)信息刺激下產(chǎn)生的腦電波信息；

對(duì)所述腦電波信息進(jìn)行解析，確定用戶的情緒；

根據(jù)用戶情緒對(duì)不同物體或話題進(jìn)行分類，并按照喜好/討厭程度對(duì)物體或話題設(shè)定優(yōu)先級(jí)，基于這些信息進(jìn)行深度學(xué)習(xí)，生成基于所述用戶的關(guān)于物體或話題多模態(tài)輸出的策略信息，

在輸出多模態(tài)輸出數(shù)據(jù)之后，采集用戶對(duì)所述多模態(tài)輸出數(shù)據(jù)反饋的腦電波信息，以獲取該用戶的反饋情緒；

將用戶反饋的情緒重新確定多模態(tài)人機(jī)交互策略，輸出相匹配的多模態(tài)輸出數(shù)據(jù)。

2.如權(quán)利要求1所述的用于智能機(jī)器人的多模態(tài)交互方法，其特征在于，還包括：

獲取用戶當(dāng)前情緒狀態(tài)并根據(jù)情緒狀態(tài)對(duì)所述預(yù)設(shè)的關(guān)于該用戶的多模態(tài)人機(jī)交互策略進(jìn)行調(diào)整；

所述情緒狀態(tài)通過(guò)采集腦電波信息方式獲取。

3.如權(quán)利要求1或2所述的用于智能機(jī)器人的多模態(tài)交互方法，其特征在于，所述的腦電波信息采用EEG設(shè)備采集。

4.一種用于智能機(jī)器人的多模態(tài)交互裝置，其特征在于，所述裝置包括以下模塊：

多模態(tài)信息輸入模塊，其用以獲取用戶的多模態(tài)輸入信息；

多模態(tài)信息解析模塊，其用以解析多模態(tài)輸入信息中所涉及物體信息或話題信息；

多模態(tài)信息輸出模塊，其用以獲取該用戶對(duì)該物體或該話題產(chǎn)生的腦電波信息，根據(jù)所述腦電波信息對(duì)應(yīng)的情緒信息從預(yù)設(shè)的關(guān)于該用戶的多模態(tài)人機(jī)交互策略中查找對(duì)應(yīng)的多模態(tài)輸出數(shù)據(jù)，按照預(yù)設(shè)優(yōu)先級(jí)輸出最匹配當(dāng)前情緒的多模態(tài)輸出數(shù)據(jù)，以改善用戶不良情緒，其中，還包括策略預(yù)設(shè)模塊，其預(yù)設(shè)多模態(tài)人機(jī)交互策略，該模塊進(jìn)一步包括如下單元：

信息采集單元，其用以預(yù)先采集用戶在訓(xùn)練環(huán)境中的用于誘發(fā)不同情緒的視覺(jué)信息和聽(tīng)覺(jué)信息、以及在相應(yīng)信息刺激下產(chǎn)生的腦電波信息；

情緒確定單元，其用以對(duì)所述腦電波信息進(jìn)行解析，確定用戶的情緒；

策略信息生成單元，其用以根據(jù)用戶情緒對(duì)不同物體或話題進(jìn)行分類，并按照喜好/討厭程度對(duì)物體或話題設(shè)定優(yōu)先級(jí)，基于這些信息進(jìn)行深度學(xué)習(xí)，生成基于所述用戶的關(guān)于物體或話題多模態(tài)輸出的策略信息；

所述多模態(tài)信息輸出模塊，其進(jìn)一步在輸出多模態(tài)輸出數(shù)據(jù)之后，采集用戶對(duì)所述多模態(tài)輸出數(shù)據(jù)反饋的腦電波信息，以獲取該用戶的反饋情緒；將用戶反饋的情緒重新確定多模態(tài)人機(jī)交互策略，輸出相匹配的多模態(tài)輸出數(shù)據(jù)。

5.如權(quán)利要求4所述的用于智能機(jī)器人的多模態(tài)交互裝置，其特征在于，還包括：

策略信息調(diào)整模塊，其用以獲取用戶當(dāng)前情緒狀態(tài)并根據(jù)情緒狀態(tài)對(duì)所述預(yù)設(shè)的關(guān)于該用戶的多模態(tài)人機(jī)交互策略進(jìn)行調(diào)整，所述情緒狀態(tài)通過(guò)采集腦電波信息方式獲取。

6.如權(quán)利要求4或5所述的用于智能機(jī)器人的多模態(tài)交互裝置，其特征在于，所述信息采集單元包括EEG設(shè)備，其采集所述腦電波信息。