[發明專利]人臉三維可形變模型的更新方法、裝置、設備及介質

有效

• 申請號: 202010374911.6
• 申請日: 2020-05-06
• 公開（公告）號: CN111563959B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 余清洲;趙航;許清泉;蘇晉展;陳良
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

1.一種人臉三維可形變模型的更新方法，其特征在于，包括：

獲取所述人臉三維可形變模型輸出的三維人臉特征點，并對所述三維人臉特征點進行渲染，得到三維人臉圖像；

對所述三維人臉圖像進行人臉投影，得到所述三維人臉圖像對應的二維圖像；

從所述二維圖像中，確定與人臉關鍵點最近的點；

確定所述最近的點所對應的所述三維人臉圖像中的三維頂點，為所述人臉關鍵點對應的三維頂點；

根據所述人臉關鍵點，和所述人臉關鍵點對應的三維頂點，對所述人臉三維可形變模型中的人臉關鍵點和三維頂點的對應關系進行更新；

若所述三維人臉特征點包括：多張人臉的三維人臉特征點；所述人臉關鍵點包括：多個關鍵點，所述人臉關鍵點對應的三維頂點包括：多個所述關鍵點對應的三維頂點；

所述根據所述人臉關鍵點，和所述人臉關鍵點對應的三維頂點，對所述人臉三維可形變模型中的人臉關鍵點和三維頂點的對應關系進行更新，包括：

根據多個所述關鍵點，和多個所述關鍵點對應的三維頂點，確定每個所述關鍵點在多張人臉上對應的三維頂點；

從所述多張人臉上對應的三維頂點中，確定出現頻次最高的三維頂點，作為所述關鍵點對應的目標三維頂點；

根據多個所述關鍵點，和多個所述關鍵點對應的目標三維頂點，對所述人臉三維可形變模型中的人臉關鍵點和三維頂點的對應關系進行更新。

2.根據權利要求1所述的方法，其特征在于，所述從所述二維圖像中，確定與人臉關鍵點最近的點，包括：

從所述二維圖像中確定所述人臉關鍵點的位置；

根據所述人臉關鍵點的位置，從所述二維圖像中，確定與所述人臉關鍵點最近的點。

3.根據權利要求2所述的方法，其特征在于，所述根據所述人臉關鍵點的位置，從所述二維圖像中，確定與所述人臉關鍵點最近的點，包括：

從所述三維人臉圖像中確定法線與視線垂直的多個候選頂點；

確定所述二維圖像中所述多個候選頂點的對應位置；

根據所述人臉關鍵點的位置，和所述多個候選頂點的對應位置，從所述二維圖像中確定與所述人臉關鍵點最近的點。

4.根據權利要求1-3中任一所述的方法，其特征在于，所述三維人臉特征點包括下述至少一種特征點：人臉形狀的特征點、人臉表情的特征點、人臉姿態的特征點、人臉紋理的特征點。

5.一種人臉三維可形變模型的更新裝置，其特征在于，包括：獲取模塊、投影模塊、第一確定模塊、第二確定模塊及更新模塊；

所述獲取模塊，用于獲取所述人臉三維可形變模型輸出的三維人臉特征點，并對所述三維人臉特征點進行渲染，得到三維人臉圖像；

所述投影模塊，用于對所述三維人臉圖像進行人臉投影，得到所述三維人臉圖像對應的二維圖像；

所述第一確定模塊，用于從所述二維圖像中，確定與人臉關鍵點最近的點；

所述第二確定模塊，用于確定所述最近的點所對應的所述三維人臉圖像中的三維頂點，為所述人臉關鍵點對應的三維頂點；

所述更新模塊，用于根據所述人臉關鍵點，和所述人臉關鍵點對應的三維頂點，對所述人臉三維可形變模型中的人臉關鍵點和三維頂點的對應關系進行更新；

若所述三維人臉特征點包括：多張人臉的三維人臉特征點；所述人臉關鍵點包括：多個關鍵點，所述人臉關鍵點對應的三維頂點包括：多個所述關鍵點對應的三維頂點；

所述更新模塊，具體用于根據多個所述關鍵點，和多個所述關鍵點對應的三維頂點，確定每個所述關鍵點在多張人臉上對應的三維頂點；從所述多張人臉上對應的三維頂點中，確定出現頻次最高的三維頂點，作為所述關鍵點對應的目標三維頂點；根據多個所述關鍵點，和多個所述關鍵點對應的目標三維頂點，對所述人臉三維可形變模型中的人臉關鍵點和三維頂點的對應關系進行更新。

6.根據權利要求5所述的裝置，其特征在于，所述第一確定模塊，具體用于從所述二維圖像中確定所述人臉關鍵點的位置；根據所述人臉關鍵點的位置，從所述二維圖像中，確定與所述人臉關鍵點最近的點。