[發明專利]一種基于視頻流的面部表情識別方法及系統

有效

• 申請號: 202110406836.1
• 申請日: 2021-04-15
• 公開（公告）號: CN113111789B
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 王德強;李曉;鄭來波;王鳴天;焦廣超
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06V10/80;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆偉姣

本發明公開一種基于視頻流的面部表情識別方法及系統，包括：確定視頻流中每幀圖像的人臉定位區域；提取人臉定位區域的人臉關鍵點，計算人臉關鍵點間的距離特征；根據距離特征與訓練后的表情分類模型，得到每幀圖像的各類表情概率值；根據每幀圖像的各類表情概率值中最大值與預設閾值的比較結果，對每幀圖像進行篩選，得到所有有效幀并確定對應的表情分類結果，利用滑動時間窗口對有效幀表情分類結果在時間維度上進行融合處理，得到以滑動步長為間隔的表情識別結果。利用人臉敏感部位關鍵點信息弱化視頻會話中說話人不重要部位對情緒產生的影響；提取面部幾何特征值作為模型的輸入，而不是直接將原始圖片輸入到模型中，在部署應用時可以減少計算量，達到較好的實時性。

技術領域

本發明涉及計算機視覺技術領域，特別是涉及一種基于視頻流的面部表情識別方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

隨著計算機能力的提升，深度學習技術在眾多應用領域得到不斷創新，發展前景廣闊。其中，面部表情識別(Facial Expression Recognition，FER)成為學術界研究的一個熱門方向，旨在從面部圖像中預測人類情緒狀態，通常將面部表情劃分為憤怒、厭惡、害怕、開心、中性、傷心、驚訝7類基本表情，在人類異常行為檢測、安全駕駛、人機交互等領域中發揮了重要作用。

面部表情識別系統可分為靜態圖像表情識別和動態視頻表情識別兩類，表情識別方法也各有差異。其中，基于動態視頻的方法中需要考慮連續圖像間時間和空間上的相關信息。如今，視頻應用的廣泛普及，需要一種準確率和實時性較高的基于視頻流的表情識別方法來提高交互場景下的用戶體驗。

現階段，通常使用卷積神經網絡(Convolution Neural Network，CNN)處理人臉圖像、循環神經網絡(Recurrent Neural Network，RNN)提取幀間信息等，但是CNN等網絡模型針對視頻流以連續人臉圖像作為輸入數據，計算量較大，且為了增強模型的學習能力，可能要以提高模型的復雜度為代價，大規模的神經網絡在應用中會占用大量存儲資源，因此該方法在實際應用中數據處理時間較長，可實施性較低。

發明內容

為了解決上述問題，本發明提出了一種基于視頻流的面部表情識別方法及系統，包括人臉檢測、面部特征提取、單幀圖像表情分類、有效幀篩選、基于滑動窗口的融合處理等步驟，對視頻中每幀圖像進行人臉檢測、識別面部關鍵點并提取距離特征，利用表情分類模型得到各類表情概率值，通過有效幀篩選和滑動時間窗口融合處理得到可靠的表情識別結果。

為了實現上述目的，本發明采用如下技術方案：

第一方面，本發明提供一種基于視頻流的面部表情識別方法，包括：

確定視頻流中每幀圖像的人臉定位區域；

提取人臉定位區域的人臉關鍵點，計算人臉關鍵點間的距離特征；

根據距離特征與訓練后的表情分類模型，得到每幀圖像的各類表情概率值；

根據每幀圖像的各類表情概率值中最大值與預設閾值的比較結果，對每幀圖像進行篩選，得到所有有效幀并確定對應的表情分類結果，利用滑動時間窗口對有效幀表情分類結果在時間維度上進行融合處理，得到以滑動步長為間隔的表情識別結果。

作為可選擇的實施方式，計算人臉關鍵點間的距離特征的過程中，在人臉定位區域內預設表情敏感區域，提取表情敏感區域內人臉關鍵點的坐標，以此計算表情敏感區域內人臉關鍵點之間的歐氏距離。

作為可選擇的實施方式，所述表情分類模型基于對深度神經網絡模型訓練得到。

作為可選擇的實施方式，所述深度神經網絡模型為全連接網絡，采用ReLU函數為激活函數，輸出層采用softmax函數，損失函數采用多分類交叉熵函數，更新準則采用梯度下降法。