[發明專利]人臉建模與面罩模型分區匹配方法、裝置、終端與介質

在審

• 申請號: 202310961964.1
• 申請日: 2023-08-02
• 公開（公告）號: CN116665284A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 程澤;黃少墅;高翔;宋志誠;江再風
• 申請（專利權）人: 深圳宇石科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/64;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種人臉建模與面罩模型分區匹配方法、裝置、終端與介質，所述方法包括：將2D人臉圖片中人臉的紋理、形狀與表情進行特征向量化；將3D人臉模型對應人臉特征點的所屬區域分為額頭、雙頰、下顎、眉毛、鼻子、嘴唇區域；提取特征點的特征向量，完成匹配；計算特征點之間對應位置的距離之和并優化；對3D人臉模型和3D美容面罩模型進行分區匹配。本發明當通過隨機梯度下降算法優化損失函數時，使得權重值設定高的區域能有更強的優化，而權重值設定小的區域優化力度較小，減少了匹配時人臉非關鍵區域對匹配結果的影響；將人臉進行分區處理，使得人臉關鍵區域與美容面罩的匹配效果更好。

技術領域

本發明涉及美容面罩技術領域，尤其涉及一種人臉建模與面罩模型分區匹配方法、裝置、終端與介質。

背景技術

目前，基于人臉建模美容方法的工作原理是通過二維圖像生成出對應的三維人臉模型，便于與美容面罩的三維結構進行匹配，以達到美容面罩上更好的控制燈珠照射光線的效果。因此，人臉建模的準確性和與美容面罩在三維空間下的匹配的精準度是決定美容效果的關鍵因素，對后續使用效果至關重要。故需要對人臉的紋理、形狀、表情進行精準建模，并與美容面罩精準匹配。

然而，傳統的人臉模型建模大多采用粗粒度建模，不會對人臉的紋理、表情等細微之處進行精確建模，針對于遮擋和大表情的效果也很差，導致生成的3D人臉模型的精度不高。同時，傳統的3D人臉模型匹配大多采用人臉特征點與美容面罩上特征點的一一對比匹配，忽略了針對人臉關鍵治療區域，如額頭、雙頰、下顎的匹配，而人臉非關鍵治療區域，如眉毛、鼻子、嘴唇等區域的匹配準確性對實際使用影響較小，使得人臉關鍵區域與美容面罩的匹配效果不佳，影響了美容面罩的治療效果。

鑒于此，實有必要提供一種人臉建模與面罩模型分區匹配方法、裝置、終端與介質以克服上述缺陷。

發明內容

本發明的目的是提供一種人臉建模與面罩模型分區匹配方法、裝置、終端與介質，旨在解決目前人臉建模精度不高且與美容面罩匹配效果不佳的問題，使得美容面罩后續能對人臉關鍵區域提供更好的、有針對性的治療，提高美容面罩的治療效果。

為了實現上述目的，本發明第一方面提供一種人臉建模與面罩模型分區匹配方法，包括：

步驟S10：獲取2D人臉圖片中人臉區域的關鍵特征點的像素坐標值，并基于卷積神經網絡預構建的3D人臉模型；

步驟S20：將所述2D人臉圖片中人臉的紋理、形狀與表情進行特征向量化，并輸入到所述3D人臉模型中進行參數訓練；其中，本步驟的損失函數設置為輸出3D人臉投影到所述2D人臉圖片上對應特征點之間的距離；

步驟S30：根據所述2D人臉圖片生成人臉特征點的三維坐標點，并通過三維坐標點的下標值，將所述3D人臉模型對應人臉特征點的所屬區域分為額頭、雙頰、下顎、眉毛、鼻子、嘴唇區域；

步驟S40：提取所述3D人臉模型的特征點和所述2D人臉圖片生成的特征點的特征向量，進行匹配并獲取到3D人臉模型匹配后的初始位置，從而完成3D人臉模型與2D人臉圖片的匹配；

步驟S50：計算所述3D人臉模型與所述2D人臉圖片兩部分特征點之間對應位置的距離之和，并通過預設的損失函數采用隨機梯度下降算法對該距離之和進行優化；其中，給定額頭、雙頰、下顎區域的權重值大于給定眉毛、鼻子、嘴唇區域的權重；

步驟S60：通過預設的3D模型匹配系統對所述3D人臉模型和3D美容面罩模型進行分區匹配，并將匹配的結果進行保存，便于在使用美容面罩時，針對用戶特定區域進行特殊處理。

在一個優選實施方式中，在步驟S20中，將所述2D人臉圖片中人臉的紋理、形狀與表情進行特征向量化包括：

通過以下公式獲得紋理T與形狀S的特征向量：

，是平均面部形狀，是平均面部紋理，、、分別是特征、表情、紋理通過PCA處理的基向量；、、是生成3D人臉模型的相應系數向量；其中，形狀相關的參數通過MLP多層感知機訓練獲得，紋理相關的系數通過CNN卷積神經網絡訓練獲得。