[發明專利]三維人臉模型的非剛性配準方法、裝置、設備及存儲介質

在審

• 申請號: 202110750314.3
• 申請日: 2021-07-02
• 公開（公告）號: CN113658233A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 羅鏡民
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T19/20;G06K9/62
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

1.一種三維人臉模型的非剛性配準方法，其特征在于，所述方法包括：

獲取到目標三維人臉模型以及所述目標三維人臉模型的多個第一關鍵點，將所述目標三維人臉模型與預設的標準三維人臉模型對齊；

獲取所述標準三維人臉模型預設的多個第二關鍵點在所述目標三維人臉模型中對應的最近鄰點，所述最近鄰點為所述第一關鍵點；

建立所述最近鄰點與所述第二關鍵點之間的對應關系；

基于所述對應關系調整所述標準三維人臉模型的第二關鍵點，以得到調整后的所述標準三維人臉模型。

2.根據權利要求1所述的方法，其特征在于，

所述獲取所述目標三維人臉模型的多個第一關鍵點的步驟，包括：

對所述目標三維人臉模型進行可導渲染處理，以獲取渲染圖像及渲染數據；

基于所述渲染圖像進行人臉關鍵點檢測，得到人臉關鍵點；

基于所述渲染數據得到所述人臉關鍵點在所述目標三維人臉模型中對應的第一關鍵點。

3.根據權利要求2所述的方法，其特征在于，

所述基于所述渲染圖像進行人臉關鍵點檢測，得到人臉關鍵點的步驟，包括：

對所述渲染圖像進行人臉識別，獲取所述渲染圖像中人臉的位置信息；

基于所述人臉的位置信息在所述渲染圖像中獲取人臉圖像；

基于所述人臉圖像進行人臉關鍵點檢測。

4.根據權利要求2所述的方法，其特征在于，

所述對所述目標三維人臉模型進行可導渲染處理，以獲取渲染圖像及渲染數據的步驟之后，還包括：

對所述渲染圖像中的人臉圖像進行人臉分割，得到不同的第一人臉分割區域；其中，所述不同的第一人臉分割區域互不重疊，一個所述人臉關鍵點位于一個所述第一人臉分割區域內。

5.根據權利要求4所述的方法，其特征在于，

所述獲取所述標準三維人臉模型的預設的多個第二關鍵點在所述目標三維人臉模型中對應的最近鄰點的步驟，包括：

獲取與所述標準三維人臉模型的預設的第二關鍵點所屬的預設的第二人臉分割區域；

在所述目標三維人臉模型中與所述第二人臉分割區域對應的第一人臉分割區域內獲取最近鄰點。

6.根據權利要求1所述的方法，其特征在于，

所述基于所述對應關系調整所述標準三維人臉模型的第二關鍵點以得到調整后的標準三維人臉模型的步驟之后，還包括：

通過損失函數計算損失函數值；

判斷所述損失函數的損失值是否大于預設閾值；

若是，則繼續執行獲取所述標準三維人臉模型預設的多個第二關鍵點在所述目標三維人臉模型中對應的最近鄰點的步驟；

若否，則將所述調整后的標準三維人臉模型作為最終模型輸出。

7.根據權利要求6所述的方法，其特征在于，

所述損失函數的公式包括：

Loss＝A*Distance+B*Laplace+C*Edge；

其中,A、B、C為預先設置的比例常數，Distance為第二關鍵點與最近鄰點之間的三維距離的平方，Laplace為拉普拉斯平滑項，Edge為調整后的標準三維模型的所有邊的平均長度。

8.根據權利要求1所述的方法，其特征在于，

所述獲取所述標準三維人臉模型預設的多個第二關鍵點在所述目標三維人臉模型中對應的最近鄰點的步驟，包括：

通過鄰近算法獲取所述標準三維人臉模型預設的多個第二關鍵點在所述目標三維人臉模型中對應的最近鄰點。