[發明專利]一種基于多源信息融合的情感識別方法和人機交互系統

有效

• 申請號: 202110554464.7
• 申請日: 2021-05-21
• 公開（公告）號: CN113139525B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 張靜莎;張騰宇;李增勇;李慧媛
• 申請（專利權）人: 國家康復輔具研究中心
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/30;G06V10/80;G06V10/82;G06K9/62;G10L15/02;G06F40/30;G06N3/04
• 代理公司: 北京迎碩知識產權代理事務所(普通合伙) 11512
• 代理人: 錢揚保;張群峰

本發明公開了一種基于多源信息融合的情感識別和人機交互系統，包括信息采集模塊、信號預處理模塊、信號分析模塊、特征融合模塊、情感識別模塊、反饋模塊、情感陪護模塊和人機交互模塊，其中：信息采集模塊，用于采集用戶的面部圖像信息、語音信息以及語義信息；信號預處理模塊，用于對信息采集模塊采集到的信號預處理；信號分析模塊，用于對信號預處理模塊得到的信號進行分析處理；特征融合模塊，用于對信號處理模塊得到情感特征進行特征融合；情感識別模塊，用于根據特征融合模塊得到的融合的情感特征進行情感識別；情感反饋模塊，用于將情感識別模塊識別到的用戶情感狀態反饋到情感陪護模塊；情感陪護模塊，用于根據情感反饋模塊反饋的情感狀態生成情感陪護模式；人機交互模塊，用于根據情感陪護模塊生成的情感陪護方案進行人機交互。

技術領域

本發明涉及服務機器人領域，尤其涉及一種基于多源信息融合的情感識別方法和人機交互系統。

背景技術

我國已成為世界上老年人口最多的國家，人口老齡化問題形勢十分嚴峻。據統計，空巢和獨居老人存在心理問題的比例達到60％。因此采取何種手段對其進行情感識別進而進行干預，以減少其孤獨感及其他心理疾病的發生，已經成為全社會比較關注和迫切需要解決的問題。若要真正達到對老年人進行情感陪護的功能要求，更好的融入老年人生活，首先要充分理解和辨別老年人的情感變化，根據老年人不同的情感需求進行方式多樣的人機交互，從而緩解老年人的孤獨感。目前尚無有效識別情感的技術。

為此，本發明提供了一種基于多源信息融合的情感識別方法和人機交互系統。

發明內容

為實現本發明之目的，采用以下技術方案予以實現：

一種基于多源信息融合的情感識別和人機交互系統，包括信息采集模塊、信號預處理模塊、信號分析模塊、特征融合模塊、情感識別模塊、反饋模塊、情感陪護模塊和人機交互模塊，其中：

信息采集模塊，用于采集用戶的面部圖像信息、語音信息以及語義信息；

信號預處理模塊，用于對信息采集模塊采集到的信號預處理；

信號分析模塊，用于對信號預處理模塊得到的信號進行分析處理；

特征融合模塊，用于對信號處理模塊得到情感特征進行特征融合；

情感識別模塊，用于根據特征融合模塊得到的融合的情感特征進行情感識別；

情感反饋模塊，用于將情感識別模塊識別到的用戶情感狀態反饋到情感陪護模塊；

情感陪護模塊，用于根據情感反饋模塊反饋的情感狀態推薦情感陪護模式；

人機交互模塊，用于根據情感陪護模塊生成的情感陪護模式進行人機交互。

所述人機交互系統，其中信號預處理模塊進行的信號預處理包括面部圖像信號、語音信號和語義信號的預處理，其中，

面部圖像信號預處理包括：利用滑動平均窗口的中值濾波器去除面部孤點噪聲，保持圖像的邊緣特性，利用灰度變換進行圖像歸一化處理，將采集到的面部圖像的灰度分布參數統一調整到預定的數值，調整圖像灰度分布的均值和均方差分別為0和1；

語音信號預處理包括：利用巴特沃斯帶阻濾波器去除語音信號的50HZ工頻干擾，基于樣條插值和標準差的方法去除偽跡；

語義信號預處理包括：對語義的數據長度進行歸一化預處理，設置每個語義信號的序列固定長度為N，對于大于長度N的信號進行剪裁，對于小于長度N的信號進行補零填充。

所述人機交互系統，其中信號分析模塊對信號預處理模塊得到的信號進行分析處理包括：將預處理后的面部圖像信息通過卷積神經網絡模型進行特征提取，該神經網絡模型包含兩個卷積層、兩個最大池化層和一個全連接層，全連接層輸出為提取的圖像情感特征向量X_CNN，