[發明專利]人臉三維可形變模型的更新方法、裝置、設備及介質

有效

• 申請號: 202010374911.6
• 申請日: 2020-05-06
• 公開（公告）號: CN111563959B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 余清洲;趙航;許清泉;蘇晉展;陳良
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

本申請提供一種人臉三維可形變模型的更新方法、裝置、設備及介質，涉及人臉三維重建技術領域。該方法通過人臉三維可形變模型生成人臉特征點，通過特征點渲染，得到三維人臉圖像，通過對得到的三維人臉圖像進行投影，得到三維人臉圖像對應的二維圖像，并進一步通過獲取與二維圖像中人臉關鍵點最近的點，來確定二維圖像中人臉關鍵點對應的三維頂點，從而得到二維圖像中人臉關鍵點與三維人臉圖像中三維頂點的對應關系。并根據該對應關系，對人臉三維可形變模型的參數更新，使得人臉三維可形變模型中二維人臉關鍵點與三維頂點的對應關系準確度更高，從而使得采用更新后的人臉三維可形變模型進行人臉重構，人臉重構的精確度更高。

技術領域

本發明涉及人臉三維重建技術領域，具體而言，涉及一種人臉三維可形變模型的更新方法、裝置、設備及介質。

背景技術

隨著計算機視覺及圖像處理技術的不斷發展，人臉三維重建因其具備的人臉重建的高效性和準確性，被廣泛的應用在安防監控、醫學等多個行業中。在人臉3D(三維)重建算法中，3DMM(人臉三維可形變模型)是經常使用的一種模型方法。該方法有一個關于人臉模型的“先驗知識”，即可形變模型。因此不管人臉處于什么角度，都能得到較完整的人臉。利用該方法進行人臉三維重建時，需要找到人臉3D(三維)頂點和2D(二維)關鍵點之間的對應關系，作為生成3D模型的約束。

通常，現有技術中，是通過肉眼觀察2D關鍵點的位置，并根據經驗確定出每個2D關鍵點對應的一個或多個3D頂點，從而根據確定出的2D關鍵點與3D頂點之間的映射關系，進行人臉重建。

但是，由于現有技術中，確定出的2D關鍵點與3D頂點之間的映射關系的準確性較差，而人臉三維重建的精度嚴重依賴于此映射關系，從而導致人臉三維重建的精確度較低。

發明內容

本發明的目的在于，針對上述現有技術中的不足，提供一種人臉三維可形變模型的更新方法、裝置、設備及介質，以便于解決現有技術中存在的人臉三維可形變模型中，2D關鍵點與3D頂點之間的映射關系的準確性較差，從而導致人臉三維重建精確度較低的問題。

為實現上述目的，本申請實施例采用的技術方案如下：

第一方面，本申請實施例提供了一種人臉三維可形變模型的更新方法，包括：

獲取所述人臉三維可形變模型輸出的三維人臉特征點，并對所述三維人臉特征點進行渲染，得到三維人臉圖像；

對所述三維人臉圖像進行人臉投影，得到所述三維人臉圖像對應的二維圖像；

從所述二維圖像中，確定與人臉關鍵點最近的點；

確定所述最近的點所對應的所述三維人臉圖像中的三維頂點，為所述人臉關鍵點對應的三維頂點；

根據所述人臉關鍵點，和所述人臉關鍵點對應的三維頂點，對所述人臉三維可形變模型中的人臉關鍵點和三維頂點的對應關系進行更新。

可選地，所述從所述二維圖像中，確定與人臉關鍵點最近的點，包括：

從所述二維圖像中確定所述人臉關鍵點的位置；

根據所述人臉關鍵點的位置，從所述二維圖像中，確定與所述人臉關鍵點最近的點。

可選地，所述根據所述人臉關鍵點的位置，從所述二維圖像中，確定與所述人臉關鍵點最近的點，包括：

從所述三維人臉圖像中確定法線與視線垂直的多個候選頂點；

確定所述二維圖像中所述多個候選頂點的對應位置；

根據所述人臉關鍵點的位置，和所述多個候選頂點的對應位置，從所述二維圖像中確定與所述人臉關鍵點最近的點。