[發明專利]一種智能監控的表情識別方法、裝置、設備和存儲介質

在審

• 申請號: 202110694160.0
• 申請日: 2021-06-22
• 公開（公告）號: CN113408434A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 崔子棟;吳毳;李津軒;姜峰
• 申請（專利權）人: 華僑大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 廈門智慧呈睿知識產權代理事務所(普通合伙) 35222
• 代理人: 陳曉思

1.一種智能監控的表情識別方法，其特征在于，包含：

獲取圖像序列；其中，所述圖像序列包含有目標人物；

通過人臉檢測模型，獲得所述圖像序列中的人臉區域；

通過表情識別模型，獲得所述人臉區域中的表情信息；

根據所述圖像序列的時間順序和所述表情信息，生成初始表情序列；

根據所述初始表情序列，通過預測模型進行校正，以獲得面部表情序列。

2.根據權利要求1所述的表情識別方法，其特征在于，所述人臉檢測模型為YOLOv3人臉識別模型；所述表情識別模型為VGG16表情分類模型；

所述表情信息包括x類；其中，所述x類包括neutral、serious、panic、curious、surprise、happiness、despise；

根據所述圖像序列的時間順序和所述表情信息，生成初始表情序列，具體為：

根據所述圖像序列中各幀的時間信息，生成時間序列T；

根據所述時間序列，對所述表情信息進行排序，以獲得所述初始表情序列I。

3.根據權利要求1所述的表情識別方法，其特征在于，所述預測模型為LSTM模型；所述LSTM模型的輸入長度為n，單位長度的特征包括x類；

根據所述初始表情序列，通過預測模型進行校正，以獲得所述人物的面部表情序列，具體為：

根據所述初始表情序列，分割成長度為n的輸入序列；

將所述輸入序列輸入至所述預測模型，以獲得長度為n的輸出序列；

根據所述輸出序列，獲得所述面部表情序列。

4.根據權利要求3所述的表情識別方法，其特征在于，所述輸入長度n為11幀。

5.一種智能監控的表情識別裝置，其特征在于，包含：

序列模塊，用于獲取圖像序列；其中，所述圖像序列中包含有人的圖像；

區域模塊，用于通過人臉檢測模型，獲得所述圖像序列中的人臉區域；

表情模塊，用于通過表情識別模型，獲得所述人臉區域中的表情信息；

初始模塊，用于根據所述圖像序列的時間順序和所述表情信息，生成初始表情序列；

最終模塊，用于根據所述初始表情序列，通過預測模型進行校正，以獲得面部表情序列。

6.根據權利要求5所述的表情識別裝置，其特征在于，所述人臉檢測模型為YOLOv3人臉識別模型；所述表情識別模型為VGG16表情分類模型；

所述表情信息包括x類；其中，所述x類包括neutral、serious、panic、curious、surprise、happiness、despise；

初始模塊，具體包括：

時間單元，用于根據所述圖像序列中各幀的時間信息，生成時間序列T；

初始單元，用于根據所述時間序列，對所述表情信息進行排序，以獲得所述初始表情序列I。

7.根據權利要求5所述的表情識別裝置，其特征在于，所述預測模型為LSTM模型；所述LSTM模型的輸入長度為n，單位長度的特征包括x類；

最終模塊，具體包括：

輸入單元，用于根據所述初始表情序列，分割成長度為n的輸入序列；

輸出單元，用于將所述輸入序列輸入至所述預測模型，以獲得長度為n的輸出序列；

最終單元，用于根據所述輸出序列，獲得所述面部表情序列。

8.根據權利要求7所述的表情識別裝置，其特征在于，所述輸入長度n為11幀。

9.一種智能監控的表情識別設備，其特征在于，包括處理器、存儲器，以及存儲在所述存儲器內的計算機程序；所述計算機程序能夠被所述處理器執行，以實現如權利要求1至4任意一項所述的智能監控的表情識別方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括存儲的計算機程序，其中，在所述計算機程序運行時控制所述計算機可讀存儲介質所在設備執行如權利要求1至4任意一項所述的智能監控的表情識別方法。