[發明專利]基于三維重建的人臉修飾方法、裝置、設備及存儲介質

有效

• 申請號: 201811060479.2
• 申請日: 2018-09-11
• 公開（公告）號: CN109035380B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 廖聲洋
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/80;G06T15/04;G06V40/16;G06V10/82
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 王文紅

1.一種基于三維重建的人臉修飾方法，其特征在于，包括：

從原始人臉圖像中確定目標修飾區域；

對所述目標修飾區域進行三維重建，得到所述目標修飾區域所對應的三維空間信息；

根據所述三維空間信息對所述目標修飾區域進行著色處理，得到修飾后的人臉圖像；

其中，所述的從原始人臉圖像中確定目標修飾區域，包括：根據預設人臉關鍵點檢測模型從原始人臉圖像中確定人臉關鍵點信息；根據所述人臉關鍵點信息從所述原始人臉圖像中分離出待修飾區域,所述待修飾區域為所述目標修飾區域；

所述的對所述目標修飾區域進行三維重建，得到所述目標修飾區域所對應的三維空間信息，包括：獲取所述人臉關鍵點信息和所述目標修飾區域對應的用于表征所述目標修飾區域的三維空間坐標點集的基礎參數以及所述基礎參數所對應的權重系數；根據所述基礎參數確定與所述基礎參數匹配的預設三維基礎模型；通過所述權重系數對所述預設三維基礎模型進行加權處理，得到所述目標修飾區域對應的三維空間信息。

2.根據權利要求1所述的方法，其特征在于，還包括：

獲取標注有人臉關鍵點的圖像樣本數據；

通過所述圖像樣本數據對初始人臉關鍵點檢測模型進行神經網絡訓練，得到預設人臉關鍵點檢測模型。

3.根據權利要求1所述的方法，其特征在于，所述的根據所述三維空間信息對所述目標修飾區域進行著色處理，得到修飾后的人臉圖像，包括：

根據所述三維空間信息對所述目標修飾區域進行著色處理，得到三維紋理著色結果；

將所述三維紋理著色結果替換到所述原始人臉圖像的所述目標修飾區域上，得到修飾后的人臉圖像。

4.根據權利要求3所述的方法，其特征在于，所述的根據所述三維空間信息對所述目標修飾區域進行著色處理，得到三維紋理著色結果，包括：

根據所述三維空間信息確定所述目標修飾區域對應的三維剖分網格；

將紋理對應坐標的顏色遷移到所述三維剖分網格所對應的坐標位置，得到三維紋理著色結果。

5.根據權利要求4所述的方法，其特征在于，所述的根據所述三維空間信息確定所述目標修飾區域對應的三維剖分網格，包括：

對所述三維空間信息進行三角剖分，得到所述目標修飾區域對應的三維剖分網格。

6.根據權利要求5所述的方法，其特征在于，所述的對所述三維空間信息進行三角剖分，得到所述目標修飾區域對應的三維剖分網格，包括：

對所述三維空間信息進行最鄰近的無交叉三角剖分，得到所述目標修飾區域對應的三維剖分網格。

7.根據權利要求3所述的方法，其特征在于，所述的將所述三維紋理著色結果替換到所述原始人臉圖像的所述目標修飾區域上，得到修飾后的人臉圖像，包括：

對所述目標修飾區域的邊緣區域做羽化處理，得到修飾后的人臉圖像。

8.一種基于三維重建的人臉修飾裝置，其特征在于，包括：

修飾目標確定單元，用于從原始人臉圖像中確定目標修飾區域；

第一處理單元，用于對所述目標修飾區域進行三維重建，得到所述目標修飾區域所對應的三維空間信息；

第二處理單元，用于根據所述三維空間信息對所述目標修飾區域進行著色處理，得到修飾后的人臉圖像；

所述修飾目標確定單元，還具體用于根據預設人臉關鍵點檢測模型從原始人臉圖像中確定人臉關鍵點信息；根據所述人臉關鍵點信息從所述原始人臉圖像中分離出待修飾區域,所述待修飾區域為所述目標修飾區域；

所述第一處理單元，還具體用于獲取所述人臉關鍵點信息和所述目標修飾區域對應的用于表征所述目標修飾區域的三維空間坐標點集的基礎參數以及所述基礎參數所對應的權重系數；根據所述基礎參數確定與所述基礎參數匹配的預設三維基礎模型；通過所述權重系數對所述預設三維基礎模型進行加權處理，得到所述目標修飾區域對應的三維空間信息。