[發明專利]面部表情識別方法及裝置

在審

• 申請號: 201910092813.0
• 申請日: 2019-01-30
• 公開（公告）號: CN109800734A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 趙起超;李召;楊苒
• 申請（專利權）人: 北京津發科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 秦景芳

1.一種面部表情識別方法，其特征在于，包括：

在識別時間段內根據設定幀速率采集通過坐標值表示的面部特征點數據；

在采集所述面部特征點數據的同時采集能夠反映情感狀態的生理傳感器數據；

利用面部表情數據和相應的所述生理傳感器數據識別面部表情，所述面部表情數據包括所述面部特征點數據。

2.如權利要求1所述的面部表情識別方法，其特征在于，在識別時間段內根據設定幀速率采集通過坐標值表示的面部特征點數據，包括：

在識別時間段內利用深度相機以設定幀速率采集面部圖像；

識別所述面部圖像中的面部特征點的三維坐標值，得到面部特征點數據。

3.如權利要求1所述的面部表情識別方法，其特征在于，所述面部特征點數據，包括：右前顎、右下頜角、下巴尖、左下頜角、左前顎、右眉外側點、右眉中心點、右眉內側點、左眉內側點、左眉中心點、左眉外側點、鼻根、鼻尖、鼻右下邊界點、鼻底邊界點、鼻左下邊界點、右眼外側、右眼內側、左眼內側、左眼外側、右唇角、上唇右尖端點、上唇中心點、上唇左尖端點、左唇角點、下唇左邊緣點、下唇中心點、下唇右邊緣點、下唇上端點、下唇底端點、右眼上角點、右眼下角點、左眼上角點及左眼下角點的面部特征點的三維坐標值。

4.如權利要求1所述的面部表情識別方法，其特征在于，還包括：

在所述識別時間段內采集通過角度值表示的頭部位置數據，并記錄面部表情行為數據；所述頭部位置數據，包括：基于頭部模擬坐標軸表示的俯仰角、偏航角及翻滾角；所述面部表情行為數據，包括：發生面部表情的次數和每次發生的面部表情的持續時間；所述面部表情數據還包括所述頭部位置數據和所述面部表情行為數據。

5.如權利要求1所述的面部表情識別方法，其特征在于，在采集所述面部特征點數據的同時采集能夠反映情感狀態的生理傳感器數據，包括：

在采集所述面部特征點數據的同時采集心臟周圍、指尖、耳垂及手腕中的至少一個部位的脈搏信號，作為生理傳感器數據。

6.如權利要求5所述的面部表情識別方法，其特征在于，利用面部表情數據和相應的所述生理傳感器數據識別面部表情，包括：

對所述生理傳感器數據中的脈搏信號進行HRV分析得到功率密度譜，并根據所述功率密度譜所屬的范圍確定情緒狀態類別；

根據所述面部表情數據映射得到情緒效價值，以確定細分情緒狀態；

在所述細分情緒狀態屬于所述情緒狀態類別的情況下，將所述細分情緒狀態作為面部表情識別結果。

7.如權利要求6所述的面部表情識別方法，其特征在于，在所述功率密度譜所屬的范圍為0.7Hz～0.8Hz的情況下，所述情緒狀態類別為放松狀態；在所述功率密度譜所屬的范圍為0.55Hz～0.65Hz的情況下，所述情緒狀態類別為緊張狀態。

8.一種面部表情識別裝置，其特征在于，包括：

面部特征點數據采集單元，用于在識別時間段內根據設定幀速率采集通過坐標值表示的面部特征點數據；

生理傳感器數據單元，用于在采集所述面部特征點數據的同時采集能夠反映情感狀態的生理傳感器數據；

面部表情數據識別單元，用于利用面部表情數據和相應的所述生理傳感器數據識別面部表情，所述面部表情數據包括所述面部特征點數據。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至7任一項所述方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1至7任一項所述方法的步驟。