[發(fā)明專利]一種面向機(jī)器人的多模態(tài)融合情感計(jì)算方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810813473.1
• 申請(qǐng)日: 2018-07-23
• 公開（公告）號(hào): CN108960191B
• 公開（公告）日: 2021-12-14
• 發(fā)明（設(shè)計(jì)）人: 佘瑩瑩;陳錦;舒楊
• 申請(qǐng)（專利權(quán)）人: 廈門大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

1.一種面向機(jī)器人的多模態(tài)融合情感計(jì)算方法，其特征在于：包括如下步驟：

步驟1、獲取得到多模態(tài)信息，通過(guò)實(shí)時(shí)捕捉與機(jī)器人交互的人的語(yǔ)言信息以及非語(yǔ)言信息，包括面部表情、頭眼關(guān)注、手勢(shì)和文本；

步驟2、構(gòu)建不同信息的處理通道進(jìn)行特征分類與識(shí)別，包括語(yǔ)言信息和非語(yǔ)言信息的特征分類與識(shí)別；

步驟3、對(duì)多模態(tài)信息進(jìn)行處理，通過(guò)PAD模型與OCC模型將信息映射到PAD三維空間上；

步驟4、對(duì)各個(gè)模態(tài)信息在決策層融合時(shí)進(jìn)行時(shí)序?qū)R，進(jìn)行基于時(shí)序的情感維度空間的計(jì)算。

2.根據(jù)權(quán)利要求1所述的一種面向機(jī)器人的多模態(tài)融合情感計(jì)算方法，其特征在于：所述步驟2進(jìn)一步包括：

針對(duì)非語(yǔ)言信息，完成對(duì)面部表情、頭眼部關(guān)注以及興趣物的識(shí)別、身體姿勢(shì)以及手勢(shì)的識(shí)別；

針對(duì)語(yǔ)言信息，完成自然語(yǔ)言處理，并輸出對(duì)應(yīng)的句子成分與語(yǔ)音特征。

3.根據(jù)權(quán)利要求1所述的一種面向機(jī)器人的多模態(tài)融合情感計(jì)算方法，其特征在于：所述步驟4進(jìn)一步包括：

步驟41、對(duì)非語(yǔ)言信息，使用線性回歸模型來(lái)對(duì)獲取的9個(gè)PAD參數(shù)值進(jìn)行不同時(shí)間不同模態(tài)的融合預(yù)測(cè)，使用線性回歸器進(jìn)行融合：

Pn＝μ1·P1+μ2·P2+μ3·P3 公式1

An＝θ1·A1+θ2·A2+θ3·A3 公式2

Dn＝σ1·D1+σ2·D2+σ3·D3 公式3

其中P1，P2，P3；A1，A2，A3；D1，D2，D3分別為面部、手勢(shì)、眼部關(guān)注度三個(gè)模塊的PAD參數(shù)值，Pn，An，Dn為融合后非語(yǔ)言部分的PAD參數(shù)值；μ1，μ2，μ3分別為愉悅度線性方程中的常量，θ1，θ2，θ3分別為激活度線性方程中的常量，σ1，σ2，σ3分別為控制度線性方程中的常量；

步驟42、使用一次線性回歸模型，將非語(yǔ)言信息和語(yǔ)言信息進(jìn)行最終的融合，公式如下：

P_融合＝μ4·P_{非語(yǔ)言}+μ5·P_語(yǔ)言 公式4

A_融合＝θ4·A_{非語(yǔ)言}+θ5·A_語(yǔ)言 公式5

D_融合＝σ4·D_{非語(yǔ)言}+σ5·D_語(yǔ)言 公式6

其中，P_融合、A_融合和D_融合分別為最終融合后的PAD參數(shù)值，μ4，μ5分別為愉悅度線性方程中的常量，θ4，θ5分別為激活度線性方程中的常量，σ4，σ5分別為控制度線性方程中的常量；根據(jù)融合得到的語(yǔ)言與非語(yǔ)言部分的PAD值，進(jìn)行最終的融合，得到最終的PAD參數(shù)值。

4.一種面向機(jī)器人的多模態(tài)融合情感計(jì)算系統(tǒng)，其特征在于：包括：

信息獲取模塊，用于獲取得到多模態(tài)信息，通過(guò)實(shí)時(shí)捕捉與機(jī)器人交互的人的語(yǔ)言信息以及非語(yǔ)言信息，包括面部表情、頭眼關(guān)注、手勢(shì)和文本；

特征分類與識(shí)別模塊，用于構(gòu)建不同信息的處理通道進(jìn)行特征分類與識(shí)別，包括語(yǔ)言信息和非語(yǔ)言信息的特征分類與識(shí)別；

模型構(gòu)建模塊，用于對(duì)多模態(tài)信息進(jìn)行處理，通過(guò)PAD模型與OCC模型將信息映射到PAD三維空間上；以及

融合模塊，用于對(duì)各個(gè)模態(tài)信息在決策層融合時(shí)進(jìn)行時(shí)序?qū)R，進(jìn)行基于時(shí)序的情感維度空間的計(jì)算。

5.根據(jù)權(quán)利要求4所述的一種面向機(jī)器人的多模態(tài)融合情感計(jì)算系統(tǒng)，其特征在于：所述特征分類與識(shí)別模塊進(jìn)一步包括：

針對(duì)非語(yǔ)言信息，完成對(duì)面部表情、頭眼部關(guān)注以及興趣物的識(shí)別、身體姿勢(shì)以及手勢(shì)的識(shí)別；

針對(duì)語(yǔ)言信息，完成自然語(yǔ)言處理，并輸出對(duì)應(yīng)的句子成分與語(yǔ)音特征。

6.根據(jù)權(quán)利要求4所述的一種面向機(jī)器人的多模態(tài)融合情感計(jì)算系統(tǒng)，其特征在于：所述融合模塊進(jìn)一步包括融合預(yù)測(cè)模塊和決策層融合模塊：

所述融合預(yù)測(cè)模塊，用于對(duì)非語(yǔ)言信息，使用線性回歸模型來(lái)對(duì)獲取的9個(gè)PAD參數(shù)值進(jìn)行不同時(shí)間不同模態(tài)的融合預(yù)測(cè)，使用線性回歸器進(jìn)行融合：

Pn＝μ1·P1+μ2·P2+μ3·P3 公式1

An＝θ1·A1+θ2·A2+θ3·A3 公式2

Dn＝σ1·D1+σ2·D2+σ3·D3 公式3

其中P1，P2，P3；A1，A2，A3；D1、D2，D3分別為面部、手勢(shì)、眼部關(guān)注度三個(gè)模塊的PAD參數(shù)值，Pn，An，Dn為融合后非語(yǔ)言部分的PAD參數(shù)值；μ1，μ2，μ3分別為愉悅度線性方程中的常量，θ1，θ2，θ3分別為激活度線性方程中的常量，σ1，σ2，σ3分別為控制度線性方程中的常量；

所述決策層融合模塊，用于使用一次線性回歸模型，將非語(yǔ)言信息和語(yǔ)言信息進(jìn)行最終的融合，公式如下：

P_融合＝μ4·P_{非語(yǔ)言}+μ5·P_語(yǔ)言 公式4

A_融合＝θ4·A_{非語(yǔ)言}+θ5·A_語(yǔ)言 公式5

D_融合＝σ4·D_{非語(yǔ)言}+σ5·D_語(yǔ)言 公式6

其中，P_融合、A_融合和D_融合分別為最終融合后的PAD參數(shù)值，μ4，μ5分別為愉悅度線性方程中的常量，θ4，θ5分別為激活度線性方程中的常量，σ4，σ5分別為控制度線性方程中的常量；根據(jù)融合得到的語(yǔ)言與非語(yǔ)言部分的PAD值，進(jìn)行最終的融合，得到最終的PAD參數(shù)值。