[發(fā)明專利]一種基于情感體系的人機(jī)交互方法、裝置和交互系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201610040503.0
• 申請(qǐng)日: 2016-01-21
• 公開（公告）號(hào): CN105739688A
• 公開（公告）日: 2016-07-06
• 發(fā)明（設(shè)計(jì)）人: 劉佳亮
• 申請(qǐng)（專利權(quán)）人: 北京光年無限科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01
• 代理公司: 北京聿宏知識(shí)產(chǎn)權(quán)代理有限公司 11372
• 代理人: 朱繪;李心穩(wěn)

1.一種基于情感體系的人機(jī)交互方法，其特征在于，包括以下步驟：

采集語音情感參數(shù)、表情情感參數(shù)和肢體情感參數(shù)；

根據(jù)所述語音情感參數(shù)計(jì)算獲得待定語音情感，從預(yù)設(shè)語音情感中選擇與待定語音情感最接近的作為語音情感分量；

根據(jù)所述表情情感參數(shù)計(jì)算獲得待定表情情感，從預(yù)設(shè)表情情感中選擇與待定表情情感最接近的作為表情情感分量；

根據(jù)所述肢體情感參數(shù)計(jì)算獲得待定肢體情感，從預(yù)設(shè)肢體情感中選擇與待定肢體情感最接近的作為肢體情感分量；

對(duì)所述語音情感分量、表情情感分量和肢體情感分量進(jìn)行融合確定情感識(shí)別結(jié)果；

針對(duì)所述情感識(shí)別結(jié)果輸出多模態(tài)的反饋信息。

2.如權(quán)利要求1所述的人機(jī)交互方法，其特征在于，在從預(yù)設(shè)語音情感中選擇與待定語音情感最接近的作為語音情感分量的步驟中包括：

采用PCA方法對(duì)語音樣本進(jìn)行建模獲得投影矩陣，以該投影矩陣為基礎(chǔ)，從預(yù)設(shè)語音情感中選擇與待定語音情感最接近的作為語音情感分量。

3.如權(quán)利要求1所述的人機(jī)交互方法，其特征在于，在從預(yù)設(shè)表情情感中選擇與待定表情情感最接近的作為表情情感分量的步驟中包括：

將預(yù)設(shè)表情情感映射到特征臉空間，在特征臉空間中計(jì)算待定表情情感與預(yù)設(shè)表情情感之間的距離，選擇距離最小的預(yù)設(shè)表情情感作為表情情感分量。

4.如權(quán)利要求1所述的人機(jī)交互方法，其特征在于，在所述對(duì)所述語音情感分量、表情情感分量和肢體情感分量進(jìn)行融合確定情感識(shí)別結(jié)果的步驟中包括：

對(duì)所述語音情感分量、表情情感分量和肢體情感分量分別賦予權(quán)重，依據(jù)權(quán)重對(duì)所述語音情感分量、表情情感分量和肢體情感分量進(jìn)行加權(quán)處理確定所述情感識(shí)別結(jié)果。

5.如權(quán)利要求1所述的人機(jī)交互方法，其特征在于，在針對(duì)所述情感識(shí)別結(jié)果輸出多模態(tài)的反饋信息的步驟中包括：

根據(jù)所述情感識(shí)別結(jié)果在語音反饋信息、表情反饋信息和肢體反饋信息中選擇至少一種進(jìn)行輸出。

6.一種基于情感體系的人機(jī)交互裝置，其特征在于，包括：

參數(shù)采集單元，其配置為采集語音情感參數(shù)、表情情感參數(shù)和肢體情感參數(shù)；

語音情感識(shí)別單元，其配置為根據(jù)所述語音情感參數(shù)計(jì)算獲得待定語音情感，從預(yù)設(shè)語音情感中選擇與待定語音情感最接近的作為語音情感分量；

表情情感識(shí)別單元，其配置為根據(jù)所述表情情感參數(shù)計(jì)算獲得待定表情情感，從預(yù)設(shè)表情情感中選擇與待定表情情感最接近的作為表情情感分量；

肢體情感識(shí)別單元，其配置為根據(jù)所述肢體情感參數(shù)計(jì)算獲得待定肢體情感，從預(yù)設(shè)肢體情感中選擇與待定肢體情感最接近的作為肢體情感分量；

融合單元，其配置為對(duì)所述語音情感分量、表情情感分量和肢體情感分量進(jìn)行融合確定情感識(shí)別結(jié)果；

反饋單元，其配置為針對(duì)所述情感識(shí)別結(jié)果輸出多模態(tài)的反饋信息。

7.如權(quán)利要求6所述的人機(jī)交互裝置，其特征在于，所述語音情感處理單元用于：

采用PCA方法對(duì)語音樣本進(jìn)行建模獲得投影矩陣，以該投影矩陣為基礎(chǔ)，從預(yù)設(shè)語音情感中選擇與待定語音情感最接近的作為語音情感分量。

8.如權(quán)利要求6所述的人機(jī)交互裝置，其特征在于，所述表情情感處理單元用于：

將預(yù)設(shè)表情情感映射到特征臉空間，在特征臉空間中計(jì)算待定表情情感與預(yù)設(shè)表情情感之間的距離，選擇距離最小的預(yù)設(shè)表情情感作為表情情感分量。

9.如權(quán)利要求6所述的人機(jī)交互裝置，其特征在于，所述融合單元用于：

對(duì)所述語音情感分量、表情情感分量和肢體情感分量分別賦予權(quán)重，依據(jù)權(quán)重對(duì)所述語音情感分量、表情情感分量和肢體情感分量進(jìn)行加權(quán)處理確定所述情感識(shí)別結(jié)果。

10.如權(quán)利要求6所述的人機(jī)交互裝置，其特征在于，所述反饋單元用于：

根據(jù)所述情感識(shí)別結(jié)果在語音反饋信息、表情反饋信息和肢體反饋信息中選擇至少一種進(jìn)行組合輸出所述多模態(tài)的反饋信息。

11.一種人機(jī)交互系統(tǒng)，其特征在于，包括：

語音傳感裝置，其用于采集語音信號(hào)；

視覺傳感裝置，其用于采集表情信號(hào)和肢體信號(hào)；

如權(quán)利要求6-10中任一項(xiàng)所述的人機(jī)交互裝置，其用于識(shí)別語音信號(hào)、表情信號(hào)和肢體信號(hào)表達(dá)的情感，并輸出所述多模態(tài)的反饋信息；

輸出驅(qū)動(dòng)裝置，其用于根據(jù)所述多模態(tài)的反饋信息驅(qū)動(dòng)表情單元、語音單元以及/或者動(dòng)作單元進(jìn)行動(dòng)作。