[發(fā)明專利]一種基于深度學習的視頻人群情緒分析方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110634734.5
• 申請日: 2021-06-08
• 公開（公告）號: CN113255557B
• 公開（公告）日: 2023-08-15
• 發(fā)明（設計）人: 汪知禮
• 申請（專利權）人: 蘇州優(yōu)柿心理咨詢技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/16;G06V10/50;G06V10/82;G06N3/0442;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 高倩

本發(fā)明涉及一種情緒分析的技術領域，公開了一種基于深度學習的視頻人群情緒分析方法，包括：獲取待分析的視頻流數(shù)據(jù)，利用高斯降噪方法對視頻流中的每一幀圖片進行降噪處理，并利用鬼影消除算法對視頻幀圖片進行鬼影消除處理；利用尺度自適應的人群姿態(tài)獲取算法提取視頻幀圖片中人群的姿態(tài)特征；利用人臉檢測算法檢測視頻幀圖片的人臉，并對檢測到的人臉進行裁剪，得到人臉圖像；利用表情識別算法對人臉圖像進行特征提取，提取到人臉表情特征；根據(jù)提取的人群姿態(tài)特征以及人臉表情特征，利用情緒識別模型對視頻中人群進行情緒分析處理。本發(fā)明還提供了一種基于深度學習的視頻人群情緒分析系統(tǒng)。本發(fā)明實現(xiàn)了視頻中的人群情緒分析。

技術領域

本發(fā)明涉及情緒識別的技術領域，尤其涉及一種基于深度學習的視頻人群情緒分析方法及系統(tǒng)。

背景技術

隨著這些年來大數(shù)據(jù)的爆發(fā)和計算能力的提升，人工智能是相對火熱的一個研究方向，在計算機方面它是一個重要的領域。21世紀是屬于計算機的，人們對計算機計算能力的要求也更加精細化，其逐漸變成人類生活里面必不可少的要素。隨之而來的變化是人們對人機交互的迫切要求，如何利用人工智能技術實現(xiàn)視頻中人群情緒的識別，成為當前研究領域的熱門話題。

在視頻序列中，各個片段之間的表情強度存在很大差異，直接去測量每一幀的容錯率是很難執(zhí)行并產生令人滿意的結果；同時大多數(shù)情緒識別方法比較重視識別表情峰值高的圖像，而忽略了細微的低強度表情，從而具有一定的識別誤差。

鑒于此，如何提取視頻序列中的不同情緒特征，并準確對人群情緒進行識別，成為本領域技術人員亟待解決的問題。

發(fā)明內容

本發(fā)明提供一種基于深度學習的視頻人群情緒分析方法，通過利用尺度自適應的人群姿態(tài)獲取算法提取人群的姿態(tài)特征，并利用人臉檢測算法檢測視頻幀畫面的人臉圖像，利用表情識別算法提取人臉表情特征，從而根據(jù)人群姿態(tài)特征和人臉表情特征，分析視頻中人群的情緒。

為實現(xiàn)上述目的，本發(fā)明提供的一種基于深度學習的視頻人群情緒分析方法，包括：

獲取待分析的視頻流數(shù)據(jù)，利用高斯降噪方法對視頻流中的每一幀圖片進行降噪處理，并利用鬼影消除算法對視頻幀圖片進行鬼影消除處理；

利用尺度自適應的人群姿態(tài)獲取算法提取視頻幀圖片中人群的姿態(tài)特征；

利用人臉檢測算法檢測視頻幀圖片的人臉，并對檢測到的人臉進行裁剪，得到人臉圖像；

利用表情識別算法對人臉圖像進行特征提取，提取到人臉表情特征；

根據(jù)提取的人群姿態(tài)特征以及人臉表情特征，利用情緒識別模型對視頻中人群進行情緒分析處理。

可選地，所述利用鬼影消除算法對視頻幀圖片進行鬼影消除處理，包括：

1)選取視頻中無運動物體的幀圖片作為參考圖片，參考圖片的灰度級概率密度為p_r(r)，非參考圖片的灰度級概率密度為p_z(z)，計算參考圖片與非參考圖片的映射關系為：

其中：

z表示參考圖片像素；

r表示非參考圖片像素；

H(·)表示直方圖匹配操作；

對非參考圖片中的每個像素進行直方圖匹配處理，得到曝光調整后的視頻幀圖片，使得非參考圖片和參考圖片具有相似的曝光度；

2)計算參考圖片和非參考圖片之間的差分圖像：

D^k＝|I_k-I|

其中：