[發明專利]一種基于人臉三維網格模型進行表情捕捉的方法和設備

有效

• 申請號: 201910725608.3
• 申請日: 2019-08-07
• 公開（公告）號: CN110610533B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 徐博
• 申請（專利權）人: 重慶靈翎互娛科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06V40/16;G06V40/18
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 龔家驊

1.一種基于人臉三維網格模型進行表情捕捉的方法，其特征在于，所述方法包括：

對真實人臉進行實時掃描，生成與所述真實人臉對應的三維網格模型；

在所述三維網格模型的眼部區域添加擬真三維眼球；

在所述三維網格模型的嘴部區域添加擬真三維口腔；

基于所述實時掃描捕捉所述真實人臉中產生表情變化的序列幀；

根據所述序列幀對應的網格頂點信息集合使所述三維網格模型產生所述表情變化；

其中，在所述三維網格模型的眼部區域添加擬真三維眼球，具體為：

識別所述眼部區域；

根據所述眼部區域去除所述三維網格模型中眼球部位的三角面的信息；

根據人臉五官特征制作擬真三維眼球，其中，所述擬真三維眼球包括左擬真三維眼球和右擬真三維眼球；

將所述擬真三維眼球放置于所述眼部區域；

基于所述擬真三維眼球制作漏斗形網格模型；

將所述漏斗形網格模型焊接在所述眼部區域。

2.如權利要求1所述的方法，其特征在于，在所述三維網格模型的嘴部區域添加擬真三維口腔，具體為：

識別所述嘴部區域；

基于所述嘴部區域確定嘴唇邊緣；

根據所述人臉五官特征制作擬真三維口腔，其中，所述擬真三維口腔包括：擬真內部口腔模型及貼圖、牙齒模型及貼圖和舌頭模型及貼圖；

將所述擬真三維口腔放置于所述嘴部區域；

對所述擬真三維口腔的邊緣與所述嘴唇邊緣進行縫合綁定后制作所述嘴部區域的融合變形頂點動畫；

將所述融合變形頂點動畫應用于所述三維網格模型。

3.如權利要求1所述的方法，其特征在于，基于所述實時掃描捕捉所述真實人臉中產生表情變化的序列幀，具體為：

基于所述實時掃描捕捉所述真實人臉的所述表情變化；

根據所述表情變化確定多個單幀圖像；

將多個所述單幀圖像按時間順序排列后生成所述序列幀。

4.如權利要求3所述的方法，其特征在于，根據所述序列幀對應的網格頂點信息集合使所述三維網格模型產生所述表情變化，具體為：

將多個所述單幀圖像對應的網格頂點信息按照所述時間順序進行壓縮存儲，獲取所述網格頂點信息集合；

根據所述網格頂點信息集合對所述三維網格模型的網格信息進行更新，獲取待播放序列幀；

將所述待播放序列幀在所述三維網格模型上逐幀播放產生所述表情變化。

5.一種基于人臉三維網格模型進行表情捕捉的設備，其特征在于，所述設備包括：

生成模塊，用于對真實人臉進行實時掃描，生成與所述真實人臉對應的三維網格模型；

第一添加模塊，用于在所述三維網格模型的眼部區域添加擬真三維眼球；

第二添加模塊，用于在所述三維網格模型的嘴部區域添加擬真三維口腔；

捕捉模塊，用于基于所述實時掃描捕捉所述真實人臉中產生表情變化的序列幀；

產生模塊，用于根據所述序列幀對應的網格頂點信息集合使所述三維網格模型產生所述表情變化；

其中，所述第一添加模塊，具體用于：

識別所述眼部區域；

根據所述眼部區域去除所述三維網格模型中眼球部位的三角面的信息；

根據人臉五官特征制作擬真三維眼球，其中，所述擬真三維眼球包括左擬真三維眼球和右擬真三維眼球；

將所述擬真三維眼球放置于所述眼部區域；基于所述擬真三維眼球制作漏斗形網格模型；

將所述漏斗形網格模型焊接在所述眼部區域。

6.如權利要求5所述的設備，其特征在于，所述第二添加模塊，具體用于：

識別所述嘴部區域；

基于所述嘴部區域確定嘴唇邊緣；

根據所述人臉五官特征制作擬真三維口腔，其中，所述擬真三維口腔包括：擬真內部口腔模型及貼圖、牙齒模型及貼圖和舌頭模型及貼圖；

將所述擬真三維口腔放置于所述嘴部區域；

對所述擬真三維口腔的邊緣與所述嘴唇邊緣進行縫合綁定后制作所述嘴部區域的融合變形頂點動畫；

將所述融合變形頂點動畫應用于所述三維網格模型。