[發(fā)明專利]基于多特征點的微表情擬合方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011623476.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112651363A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設計）人: 王智勇;關慶陽;王治博;毛書貴;宋勝尊;李永春;童心
• 申請（專利權）人: 沈陽康泰電子科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08;G06N3/04
• 代理公司: 北京銘碩知識產(chǎn)權代理有限公司 11286
• 代理人: 王兆賡;蘇銀虹

1.一種基于多特征點的微表情擬合方法，所述方法包括：

獲取基準圖像和情緒圖像，其中，基準圖像指沒有刺激源情況下的圖像，情緒圖像指存在預定刺激源情況下的圖像；

將基準圖像和情緒圖像分別輸入到面部檢測神經(jīng)網(wǎng)絡中進行面部檢測以分別獲得基準面部圖像和情緒面部圖像；

將基準面部圖像和情緒面部圖像分別輸入到面部特征點標記網(wǎng)絡中進行面部特征點提取以分別獲得基準特征點和情緒特征點；

根據(jù)基準特征點的位置信息和情緒特征點的位置信息計算出面部微特征向量，并將滿足預定閾值的面部微特征向量作為面部運動單元進行輸出；以及

采用遞歸神經(jīng)網(wǎng)絡模型對所述面部運動單元進行擬合，得到預測的情緒特征。

2.根據(jù)權利要求1所述的方法，所述面部檢測神經(jīng)網(wǎng)絡包括：

第一卷積層，通過預定尺寸的卷積核和預定步長對輸入的圖像進行卷積計算；

第二卷積層，通過所述卷積核和所述預定步長對第一卷積層輸出的結果進行深度可分離卷積計算；

第一下采樣層，對第二卷積層輸出的結果進行下采樣計算；

第二下采樣層，對第一下采樣層輸出的結果進行下采樣計算；以及

全連接層，對第二下采樣層輸出的結果進行非線性擬合以得到與所述輸入的圖像對應的面部圖像，

其中，所述第一下采樣層和所述第二下采樣層均包括：

第一基本單元，其步長為2，輸出的結果的寬度和高度為輸入的寬度和高度的一半，輸出的結果的通道數(shù)為輸入的通道數(shù)的兩倍；以及

第二基本單元，其步長為1，輸出的結果的寬度、高度和通道數(shù)與輸入的寬度、高度和通道數(shù)相同。

3.根據(jù)權利要求2所述的方法，所述方法還包括：通過面部檢測訓練集對所述面部檢測神經(jīng)網(wǎng)絡進行訓練的步驟，其中，在訓練的過程中，當輸出人臉框與期望人臉框的交并比系數(shù)不再升高，或者迭代次數(shù)達到預定計數(shù)時，終止訓練。

4.根據(jù)權利要求1所述的方法，所述基準特征點的位置信息和所述情緒特征點的位置信息包括二維位置信息或三維位置信息。

5.根據(jù)權利要求1所述的方法，所述面部運動單元包括：眉弓運動單元、眉心運動單元、眼部運動單元、鼻部運動單元、嘴唇運動單元、嘴角運動單元中的至少一種。

6.根據(jù)權利要求5所述的方法，所述方法還包括：

基于訓練樣本構建情緒訓練集和情緒測試集，所述訓練樣本包括基于基準圖像和情緒圖像得到的所述面部運動單元以及與所述面部運動單元對應的情緒特征；

構建遞歸神經(jīng)網(wǎng)絡模型，所述遞歸神經(jīng)網(wǎng)絡模型的每層共享同一網(wǎng)絡參數(shù)；

通過情緒訓練集對遞歸神經(jīng)網(wǎng)絡模型進行訓練；

通過情緒測試集對訓練所得的遞歸神經(jīng)網(wǎng)絡進行評價；以及

根據(jù)評價的結果，將滿足預定準確度的遞歸神經(jīng)網(wǎng)絡用于情緒特征的預測。

7.一種基于多特征點的微表情擬合的系統(tǒng)，所述系統(tǒng)包括：

圖像獲取單元，獲取基準圖像及情緒圖像，其中，基準圖像指沒有刺激源情況下的圖像，情緒圖像指存在預定刺激源情況下的圖像；

面部檢測單元，將基準圖像和情緒圖像分別輸入到面部檢測神經(jīng)網(wǎng)絡中進行面部檢測以分別獲得基準面部圖像和情緒面部圖像；

特征點提取單元，將基準面部圖像和情緒面部圖像分別輸入到面部特征點標記網(wǎng)絡中進行面部特征點提取以分別獲得基準特征點和情緒特征點；

面部運動獲取單元，根據(jù)基準特征點的位置信息和情緒特征點的位置信息計算出面部微特征向量，并將滿足預定閾值的面部微特征向量作為面部運動單元進行輸出；以及

情緒識別單元，采用遞歸神經(jīng)網(wǎng)絡模型對所述面部運動單元進行擬合，得到預測的情緒特征。