[發明專利]人臉表情識別方法、電子設備及存儲介質

有效

• 申請號: 202210376844.0
• 申請日: 2022-04-12
• 公開（公告）號: CN114463826B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 李立業;陳智超;寇鴻斌;付賢強
• 申請（專利權）人: 合肥的盧深視科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16
• 代理公司: 北京智晨知識產權代理有限公司 11584
• 代理人: 張婧

1.一種人臉表情識別方法，其特征在于，包括：

計算待測人臉的第一深度圖與所述待測人臉的標準深度圖中對應器官的三維變化量；其中，所述標準深度圖為自然表情狀態下的深度圖；

依次對至少一個所述器官的三維變化量與表情庫中包含該器官的器官動作組合進行匹配，并將與所述至少一個器官中最后一個器官的三維變化量相匹配的器官動作組合對應的表情類型作為第一深度圖中人臉的表情類型；

其中，所述表情庫中每個所述器官動作組合對應一個表情類型，以及該器官動作組合所包含的各器官從所述自然表情到對應表情類型的三維變化量；所述至少一個所述器官中非首個執行匹配的器官以及該器官對應的待匹配的器官動作組合基于該非首個器官的前一個執行匹配的器官所對應的匹配結果確定。

2.根據權利要求1所述的人臉表情識別方法，其特征在于，所述依次對至少一個所述器官的三維變化量與表情庫中包含該器官的器官動作組合進行匹配，并將與所述至少一個器官中最后一個器官的三維變化量相匹配的器官動作組合對應的表情類型作為第一深度圖中人臉的表情類型，包括：

將所述第一深度圖中所述三維變化量最大的器官確定為首個第一器官，并對所述第一器官執行如下表情匹配操作：

從表情庫中確定與所述第一器官的所述三維變化量相匹配的器官動作組合；

當所述相匹配的器官動作組合均對應同一表情類型時，將該同一表情類型確定為所述第一深度圖中人臉的表情類型；

當所述相匹配的器官動作組合對應不同的表情類型時，從所述相匹配的器官動作組合中選擇與所述第一器官不同的一個器官，并將待測人臉的該器官作為下一個所述第一器官執行所述表情匹配操作，其中，非首個所述第一器官所對應的器官動作組合的匹配范圍為與該非首個所述第一器官的上一個第一器官相匹配的器官動作組合。

3.根據權利要求1或2所述的人臉表情識別方法，其特征在于，所述器官的所述三維變化量包括：所述器官的關鍵點的三維變化量；

所述計算待測人臉的第一深度圖與所述待測人臉的標準深度圖中對應器官的三維變化量，包括：

確定所述第一深度圖中各器官的關鍵點，并在所述標準深度圖中檢測所述關鍵點的同名點；

計算各器官的關鍵點和所述關鍵點的同名點的三維坐標差值，作為相應器官的三維變化量。

4.根據權利要求2所述的人臉表情識別方法，其特征在于，所述從表情庫中確定與所述第一器官的所述三維變化量相匹配的器官動作組合，包括：

遍歷所述表情庫中待匹配的器官動作組合中包含所述第一器官的所述器官動作組合，并將包含所述第一器官的所述器官動作組合作為第一器官動作組合；

計算所述待測人臉的所述第一器官的三維變化量與每個所述第一器官動作組合中所述第一器官的三維變化量之差，得到多個第一差值；

將小于第一閾值的所述第一差值所對應的器官動作組合作為與所述第一器官的所述三維變化量相匹配的器官動作組合。

5.根據權利要求4所述的人臉表情識別方法，其特征在于，所述器官的所述三維變化量包括：所述器官的關鍵點的三維變化量；

所述計算所述待測人臉的所述第一器官的三維變化量與每個所述第一器官動作組合中所述第一器官的三維變化量之差，得到多個第一差值包括：

針對每個所述第一器官動作組合，分別計算所述待測人臉的所述第一器官的三維變化量與所述第一器官動作組合中所述第一器官的三維變化量在各器官關鍵點上的第二差值；

將所述第二差值的協方差或均值作為所述第一差值；或者，

從所述第二差值中去掉差值最大的預設數量的第二差值，將剩余的所述第二差值的協方差或均值作為所述第一差值。

6.根據權利要求2、4和5中任一項所述的人臉表情識別方法，其特征在于，所述從所述相匹配的器官動作組合中選擇與所述第一器官不同的一個器官，包括：

從所述相匹配的器官動作組合中選擇與所述第一器官不同的且在所述相匹配的器官動作組合中出現次數最少的一個器官。