[發明專利]一種面向機器人的多模態融合情感計算方法及系統

有效

• 申請號: 201810813473.1
• 申請日: 2018-07-23
• 公開（公告）號: CN108960191B
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 佘瑩瑩;陳錦;舒楊
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發明提供一種面向機器人的多模態融合情感計算方法，包括：獲取得到多模態信息，通過實時捕捉與機器人交互的人的語言信息以及非語言信息；構建不同信息的處理通道進行特征分類與識別，包括語言信息和非語言信息的特征分類與識別；對多模態信息進行處理，通過PAD模型與OCC模型將信息映射到PAD三維空間上；對各個模態信息在決策層融合時進行時序對齊，進行基于時序的情感維度空間的計算。本發明還提供一種面向機器人的多模態融合情感計算系統，通過獲取用戶的多模態信息，包括非語言與語言信息，使用PAD模型、OCC模型，以及線性回歸模型分別對語言信息和非語言信息進行融合之后，再使用線性回歸模型進行最終融合，實現機器人更佳精確的情感計算。

技術領域

本發明涉及信息技術領域，尤其涉及一種面向機器人的多模態融合情感計算方法及系統。

背景技術

從目前來看，多模態融合的相關研究較少，目前的方法并沒有做到對多模態信息進行融合，大部分都是語言部分信息。大部分研究存在有如下缺陷：1、局限于某個模態的信息采集與獲取；2、僅對語言部分進行識別，無法很好的識別用戶情緒；3、非語言信息部分僅對于交互對象的面部表情進行情感計算，而沒有將其生理信息、面部表情、肢體語言及視覺信息等多種信號準確融合；4、沒有進行語言與非語言多模態信息的融合方法，與對應的情感計算方法；5、機器人基本都沒有采用多模態情感計算。

發明內容

本發明要解決的技術問題之一，在于提供一種面向機器人的多模態融合情感計算方法，通過獲取用戶的多模態信息，包括非語言與語言信息，使用PAD模型、OCC模型，將多模態信息映射到PAD空間上，利用線性回歸模型分別對語言信息和非語言信息進行融合之后，再次使用模型進行最終融合，即最終的決策層融合。

本發明要解決的技術問題之一是這樣實現的：一種面向機器人的多模態融合情感計算方法，包括如下步驟：

步驟1、獲取得到多模態信息，通過實時捕捉與機器人交互的人的語言信息以及非語言信息，包括面部表情、頭眼關注、手勢和文本；

步驟2、構建不同信息的處理通道進行特征分類與識別，包括語言信息和非語言信息的特征分類與識別；

步驟3、對多模態信息進行處理，通過PAD模型與OCC模型將信息映射到PAD三維空間上；

步驟4、對各個模態信息在決策層融合時進行時序對齊，進行基于時序的情感維度空間的計算。

進一步的，所述步驟2進一步包括：

針對非語言信息，完成對面部表情、頭眼部關注以及興趣物的識別、身體姿勢以及手勢的識別；

針對語言信息，完成自然語言處理，并輸出對應的句子成分與語音特征。

進一步的，所述步驟4進一步包括：

步驟41、對非語言信息，使用線性回歸模型來對獲取的9個PAD參數值進行不同時間不同模態的融合預測，使用線性回歸器進行融合：

Pn＝μ1·P1+μ2·P2+μ3·P3 公式1

An＝θ1·A1+θ2·A2+θ3·A3 公式2

Dn＝σ1·D1+σ2·D2+σ3·D3 公式3

其中P1，P2，P3；A1，A2，A3；D1，D2，D3分別為面部、手勢、眼部關注度三個模塊的PAD參數值，Pn，An，Dn為融合后非語言部分的PAD參數值；μ1，μ1，μ1分別為愉悅度線性方程中的常量，θ1，θ2，θ3分別為激活度線性方程中的常量，σ1，σ2，σ3分別為控制度線性方程中的常量；

步驟42、使用一次線性回歸模型，將非語言信息和語言信息進行最終的融合，公式如下：