[發明專利]基于面部關鍵點軌跡特征圖的視頻情感識別方法

在審

• 申請號: 202110425610.6
• 申請日: 2021-04-20
• 公開（公告）號: CN113052132A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 李春國;郝培鈞;吳桐;吳昊峰;胡超;李成祥;楊綠溪
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳國強

本發明公開了一種基于面部關鍵點軌跡特征圖的視頻情感識別方法，包括以下步驟：步驟1，對視頻序列中的視頻幀圖像進行處理，并獲得一組面部關鍵點坐標；步驟2，計算步驟1得到的這一組面部關鍵點坐標之間的相對距離在相鄰視頻幀上的變化值矩陣，將關鍵點軌跡特征編碼成面部關鍵點軌跡特征圖；步驟3，將視頻序列對應的一系列面部關鍵點軌跡特征圖送入CNN?LSTM深度時空網絡中進行情感識別任務。本發明將關鍵點軌跡特征編碼成面部關鍵點軌跡特征圖輸入CNN?LSTM深度時空網絡用于視頻情感識別，在RAVDESS數據集上驗證所述發明取得了較高的水平。

技術領域

本發明屬于多媒體信號處理領域，涉及一種基于面部關鍵點軌跡特征圖的視頻情感識別方法。

背景技術

視頻情感識別技術在各種智能系統中的應用具有很大的潛力，包括數字廣告業務，在線游戲，客戶反饋評估，醫療行業等。

早期的視頻情感識別分類器主要是基于從靜態面部圖像中提取的手工淺層特征。面部特征可以從整個面部區域或特定的局部區域中提取，并分為兩類：基于幾何形狀或基于外觀。基于幾何形狀的特征表示考慮形狀信息(如面部點或眉毛、眼睛、嘴、鼻子的位置)，而忽略面部的紋理。值得注意的是，這種特征表示易受光照變化影響。大多基于幾何特征的方法通過主動外觀模型跟蹤一組面部關鍵點。另一方面，基于外觀的特征表示利用強度值或像素值來表示面部的紋理變化，例如皺紋和條紋。基于外觀的經典特征有尺度不變特征變換(SIFT)、局部二值模式(LBP)、梯度直方圖(HOG)、Gabor小波表示。主成分分析(PCA)技術被廣泛用于特征降維，并在表情識別中取得了很好的成績。

2002年自動表情識別領域的相關研究發現CNN對人臉位置變化和尺度變化具有魯棒性，并且在出現之前未見的人臉姿態變化的情況時CNN的表現超過多層感知機(MLP)。利用CNN可以解決人臉表情識別中的主體獨立性、平移、旋轉、尺度不變性等問題。基于CNN的基礎架構，一些變型也被應用于解決表情識別的問題，包括AlexNET、深度卷積神經網絡(DCNN)、殘差神經網絡(Resnet)、Inception和雙通道CNN，一個通道是標準CNN網絡，另一個通道被訓練為卷積自編碼器。在視頻中幀和幀之間有上下文關聯性，增加了比單純的圖像更多的時間信息。Donahue等人于2018年通過將CNN中學習到的視覺特征表示和LSTM的可變長輸入輸出優勢相結合，創造了一種時間和空間上的深度模型，該模型將CNN的輸出作為LSTM網絡的輸入，用于設計時變輸入和輸出的各種視覺任務中，許多類似的級聯網絡被陸續提出。

2015年Jung等人提出了人臉關鍵點軌跡，然而當前的人臉關鍵點軌跡特征的使用方法存在不足，直接使用了沒有歸一化的關鍵點坐標，或者將一組特征點坐標拼接成一維特征向量送入淺層的分類網絡中。這樣做的不足在于人臉的關鍵點運動不僅僅受到面部表情的驅動，頭部的姿態變化和運動同樣會導致面部關鍵點發生位移。即使面部關鍵點位置進行了歸一化處理，但是側臉、低頭、抬頭等動作都能引發面部關鍵點的位移，真正有意義的是這些點之間的相對距離變化。此外，淺層分類網絡的性能也很難讓人滿意。

發明內容

本發明的目的是提供一種基于面部關鍵點軌跡特征圖的視頻情感識別方法，以緩解現有的人臉關鍵點軌跡特征的使用不充分的問題。

為實現上述目的，本發明采用的技術方案為：

一種基于面部關鍵點軌跡特征圖的視頻情感識別方法，包括以下步驟：

步驟1，對視頻序列中的視頻幀圖像進行處理，并獲得一組面部關鍵點坐標；

步驟2，計算步驟1得到的這一組面部關鍵點坐標之間的相對距離在相鄰視頻幀上的變化值矩陣，將面部關鍵點軌跡特征編碼，得到面部關鍵點軌跡特征圖；

步驟3，將視頻序列對應的一系列面部關鍵點軌跡特征圖送入CNN-LSTM深度時空網絡中進行情感識別任務。

進一步的，所述步驟1包括：