[發明專利]基于視頻圖像面部表情和語音的多模態兒童情緒識別融合模型

在審

• 申請號: 202110781866.0
• 申請日: 2021-07-09
• 公開（公告）號: CN113408649A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 陳震環;李為相;王傳昱
• 申請（專利權）人: 南京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G10L25/63;G10L25/30;G10L25/24;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于視頻圖像面部表情和語音的多模態兒童情緒識別模型，涉及情緒識別領域。在視頻圖像模態上，將面部表情訓練數據使用Gabor濾波增強人臉紋理，然后將紋理增強后面部表情訓練數據在稠密卷積神經網絡(D)上進行訓練，得到視頻圖像模態情緒識別模型；在語音模態上，將訓練數據集的GFCC特征與MFCC特征進行融合，再輸入至語音模態模型中進行訓練，語音模態使用CGRU網絡，CGRU網絡由卷積神經網絡(CNN)、門控循環單元(GRU)網絡融合；最后將CGRU與SVM連接，得到語音情緒識別模型。視頻圖像模態識別結果和語音模態識別結果依據權值準則在決策層進行融合，實現多模態兒童情緒識別。本發明提供的技術方案，有效的提高兒童情緒識別的準確率，有較強的推廣價值。

技術領域

本發明涉及情感識別、語音處理和圖像處理技術領域，具體為基于視頻圖像面部表情和語音的多模態兒童情緒識別融合模型。

背景技術

情緒是人內心世界的外在表達方式，是以個體意愿和需求為媒介的一種心理活動。所以，情緒調節與兒童青少年心理健康密切相關。但由于兒童在情感發泄以及應對不同情感作出合理舉措的能力遠不如成年人，所以對于監護人來說，難以發現兒童的情感狀況，使得無法及時幫助兒童宣泄情緒以及進行情緒疏導。從而可能會導致幼兒和青少年產生情緒障礙，帶來焦慮癥，心理健康等問題。

當前比較好的情緒識別解決方案是采取人機交互的方式，即通過對兒童在不同情緒下的語音或面部表情進行分析篩選出有效特征，并使用這些特征來訓練相關的模型，得到識別模型。但這些方法沒有考慮到兒童聲音較為較為尖銳，頻率較高的問題，并且忽略了兒童面部紋理較成年人更加細微。因此，克服上述兒童情緒識別方法中存在的問題，是當前急需解決的。

發明內容

本發明的目的在于提供一種基于視頻圖像面部表情和語音的多模態兒童情緒識別融合模型，以解決上述背景技術中提出的問題。

為實現上述目的，本發明所采用的技術方案是：一種基于視頻圖像面部表情和語音的多模態兒童情緒識別融合模型，包括以下步驟：

步驟(A)，將面部表情訓練數據經過Gabor增強人臉紋理；

步驟(B)，將稠密連接卷積神經網絡在紋理增強后的面部表情訓練數據上進行訓練，以得到圖像情緒識別模型；

步驟(C)，將語音數據訓練數據集的MFCC特征與GFCC進行特征融合；

步驟(D)，將融合特征輸入至卷積神經網絡(CNN)和門控循環單元(GRU)網絡融合構成模型CGRU以及SVM中進行訓練，并將CGRU與SVM構成集成學習，得到語音情緒識別模型。

步驟(E)，將所述圖像情緒識別模型以及所述語音情緒識別模型進行決策融合，得到雙模態兒童情緒識別模型。

前述的基于視頻圖像面部表情和語音的多模態兒童情緒識別融合模型，步驟(A)，將將面部表情訓練數據經過Gabor增強人臉紋理，包括以下步驟，

(A1)，構建Gabor濾波器，所述Gabor濾波器具有2，3，4，5，6，7這六個不同波長取值，每個波長的濾波器設計0，π/4，2π/4，3π/4這4個方向；

(A2)，將面部表情訓練數據和構建的Gabor濾波器進行卷積，得到紋理增強后的Gabor圖像；

前述的基于視頻圖像面部表情和語音的多模態兒童情緒識別融合模型，其特征在于：步驟(B)，將紋理增強后的面部表情訓練數據輸入至稠密連接卷積神經網絡進行訓練，以得到圖像情緒識別模型，包括以下步驟：

(B1)，獲取紋理增強后的訓練樣本，所述訓練樣本包括共5582張面部表情圖像；

(B2)，使用稠密卷積神經網絡對所述訓練樣本進行訓練，以得到圖像情緒識別模型，所述稠密卷積神經網絡包含4個稠密塊，每個稠密塊包含的瓶頸層分別為6，12，24和16。