[發(fā)明專利]一種基于深度學(xué)習(xí)的情緒強(qiáng)度估計(jì)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910341691.4
• 申請日: 2019-04-26
• 公開（公告）號: CN110188610A
• 公開（公告）日: 2019-08-30
• 發(fā)明（設(shè)計(jì)）人: 王春雷;尉遲學(xué)彪;毛鵬軒
• 申請（專利權(quán)）人: 北京入思技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學(xué)習(xí)的情緒強(qiáng)度估計(jì)方法，其特征在于，所述方法包括：

步驟S101：接收用戶視頻圖像；

步驟S102：提取用戶視頻圖像中的面部圖像特征和頭部圖像特征；

步驟S103：基于面部圖像特征和頭部圖像特征利用訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)計(jì)算用戶情緒強(qiáng)度級別；以及

步驟S104：根據(jù)所述情緒強(qiáng)度級別輸出相應(yīng)報警信息。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的情緒強(qiáng)度估計(jì)方法，其特征在于，所述步驟S102包括：

在所述用戶視頻圖像中分割出面部、頭部區(qū)域；

針對所述面部區(qū)域，檢測并標(biāo)記面部區(qū)域關(guān)鍵點(diǎn)，計(jì)算所述面部區(qū)域各關(guān)鍵點(diǎn)的位置與面部區(qū)域關(guān)鍵點(diǎn)平均位置的距離，并針對面部區(qū)域各關(guān)鍵點(diǎn)提取尺度不變特征變換(SIFT)特征，以得到面部區(qū)域特征向量；以及

針對所述頭部區(qū)域，檢測并標(biāo)記頭部區(qū)域關(guān)鍵點(diǎn)，計(jì)算所述頭部區(qū)域各關(guān)鍵點(diǎn)的運(yùn)動矢量，并使用有限長單位沖激響應(yīng)(IIR)濾波器對所述頭部區(qū)域各關(guān)鍵點(diǎn)的運(yùn)動矢量進(jìn)行時域?yàn)V波，以得到頭部區(qū)域特征向量。

3.如權(quán)利要求1所述的基于深度學(xué)習(xí)的情緒強(qiáng)度估計(jì)方法，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括：

采集不同人的視頻圖像并標(biāo)記出情緒強(qiáng)度級別；

在所采集的視頻圖像的面部區(qū)域上提取尺度不變特征變換(SIFT)特征以得到面部區(qū)域特征向量；

在所采集的視頻圖像的頭部區(qū)域上提取運(yùn)動矢量特征并進(jìn)行時域?yàn)V波以得到頭部區(qū)域特征向量；

以所標(biāo)記的情緒強(qiáng)度級別為訓(xùn)練目標(biāo)，利用所述面部區(qū)域特征向量和頭部區(qū)域特征向量對所述深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

4.如權(quán)利要求1所述的基于深度學(xué)習(xí)的情緒強(qiáng)度估計(jì)方法，其特征在于，所述步驟S104包括：

當(dāng)所述情緒強(qiáng)度高于預(yù)定級別時，輸出關(guān)于所述用戶情緒強(qiáng)度過高的報警信息。

5.一種基于深度學(xué)習(xí)的情緒強(qiáng)度估計(jì)系統(tǒng)，其特征在于，所述系統(tǒng)包括：

視頻接收模塊，用于接收用戶視頻圖像；

特征提取模塊，用于提取用戶視頻圖像中的面部圖像特征和頭部圖像特征；

情緒強(qiáng)度計(jì)算模塊，用于基于面部圖像特征和頭部圖像特征利用訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)計(jì)算用戶情緒強(qiáng)度級別；以及

告警輸出模塊，用于根據(jù)所述情緒強(qiáng)度級別輸出相應(yīng)報警信息。

6.如權(quán)利要求5所述的基于深度學(xué)習(xí)的情緒強(qiáng)度估計(jì)系統(tǒng)，其特征在于，所述特征提取模塊通過如下方法實(shí)現(xiàn)：

在所述用戶視頻圖像中分割出面部、頭部區(qū)域；

針對所述面部區(qū)域，檢測并標(biāo)記面部區(qū)域關(guān)鍵點(diǎn)，計(jì)算所述面部區(qū)域各關(guān)鍵點(diǎn)的位置與面部區(qū)域關(guān)鍵點(diǎn)平均位置的距離，并針對面部區(qū)域各關(guān)鍵點(diǎn)提取尺度不變特征變換(SIFT)特征，以得到面部區(qū)域特征向量；以及

針對所述頭部區(qū)域，檢測并標(biāo)記頭部區(qū)域關(guān)鍵點(diǎn)，計(jì)算所述頭部區(qū)域各關(guān)鍵點(diǎn)的運(yùn)動矢量，并使用有限長單位沖激響應(yīng)(IIR)濾波器對所述頭部區(qū)域各關(guān)鍵點(diǎn)的運(yùn)動矢量進(jìn)行時域?yàn)V波，以得到頭部區(qū)域特征向量。

7.如權(quán)利要求5所述基于深度學(xué)習(xí)的情緒強(qiáng)度估計(jì)系統(tǒng)，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括：

采集不同人的視頻圖像并標(biāo)記出不同的情緒強(qiáng)度；

在所采集的視頻圖像的面部區(qū)域上提取尺度不變特征變換(SIFT)特征以得到面部區(qū)域特征向量；

在所采集的視頻圖像的頭部區(qū)域上提取運(yùn)動矢量特征并進(jìn)行時域?yàn)V波以得到頭部區(qū)域特征向量；

以所標(biāo)記的情緒強(qiáng)度級別為訓(xùn)練目標(biāo)，利用所述面部區(qū)域特征向量和頭部區(qū)域特征向量對所述深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

8.如權(quán)利要求5所述基于深度學(xué)習(xí)的情緒強(qiáng)度估計(jì)系統(tǒng)，其特征在于，所述告警輸出模塊通過如下方法實(shí)現(xiàn)：

當(dāng)所述情緒強(qiáng)度高于預(yù)定級別時，輸出關(guān)于所述用戶情緒強(qiáng)度過高的報警信息。