[發明專利]一種基于三維人臉模型擬合的面部對齊方法

在審

• 申請號: 201711238476.9
• 申請日: 2017-11-30
• 公開（公告）號: CN108022308A
• 公開（公告）日: 2018-05-11
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06N3/04;G06K9/46;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明中提出的一種基于三維人臉模型擬合的面部對齊方法，其主要內容包括：3D面部表示、卷積神經網絡的結構、標記擬合約束、輪廓擬合約束和尺度不變特征變換配對約束，其過程為，訓練一個卷積神經網絡用于將密集的3D面部形狀擬合成單個輸入的面部圖像，卷積神經網絡從輸入圖像學習非線性映射函數、相應的投影參數和形狀參數，估計的參數可以被用來構造密集的3D面部形狀，然后利用密集的三維形狀表示來施加多個約束。本發明使用的三維人臉模型擬合算法，采用多個約束并利用多個數據集，不僅能夠對齊有限個數的面部標記，而且能夠符合人臉輪廓和尺度不變特征變換特征點，提高了面部對準精度，降低了計算成本，大大提高了面部對齊的效率。

技術領域

本發明涉及面部對齊領域，尤其是涉及了一種基于三維人臉模型擬合的面部對齊方法。

背景技術

隨著計算機技術的發展，人類的一些生物特征被應用到了身份識別上。相對于其他生物識別技術，面部識別具有特征采集方便、識別周期較短等優點。面部識別系統可分為以下幾個步驟：面部檢測、面部對齊、提取和面部分類識別。面部序列圖像中不同圖像的面部對齊，影響到人臉識別的準確性，成為人臉識別系統的重要問題。面部對齊可以用于面部器官定位、器官跟蹤，通過準確定位到面部的每個部件，提取相應的部件特征；通過面部對齊后，能夠利用對齊后的人臉形狀分析人臉的表情狀態，從而應用到如兒童興趣點分析、用戶滿意度調查、表情測謊等領域；面部對齊還可以用于人臉漫畫和素描生成，結合手機圖片編輯器，生成用戶所需的圖片；除此之外，面部對齊還可用于3D卡通模擬、性別鑒別、根據人臉老化或年輕化做出年齡推斷以及虛擬現實和增強現實等。然而，由于每個數據集都有不同的標記，許多面部對齊方法不能利用多個數據集，而且進行面部對齊的計算成本高，難以實現有效應用。

本發明提出了一種基于三維人臉模型擬合的面部對齊方法，訓練一個卷積神經網絡用于將密集的3D面部形狀擬合成單個輸入的面部圖像，卷積神經網絡從輸入圖像學習非線性映射函數、相應的投影參數和形狀參數，估計的參數可以被用來構造密集的3D面部形狀，然后利用密集的三維形狀表示來施加多個約束。本發明使用的三維人臉模型擬合算法，采用多個約束并利用多個數據集，不僅能夠對齊有限個數的面部標記，而且能夠符合人臉輪廓和尺度不變特征變換特征點，提高了面部對準精度，降低了計算成本，大大提高了面部對齊的效率。

發明內容

針對不能利用多個數據集和計算成本高的問題，本發明的目的在于提供一種基于三維人臉模型擬合的面部對齊方法，訓練一個卷積神經網絡用于將密集的3D面部形狀擬合成單個輸入的面部圖像，卷積神經網絡從輸入圖像學習非線性映射函數、相應的投影參數和形狀參數，估計的參數可以被用來構造密集的3D面部形狀，然后利用密集的三維形狀表示來施加多個約束。

為解決上述問題，本發明提供一種基于三維人臉模型擬合的面部對齊方法，其主要內容包括：

(一)3D面部表示；

(二)卷積神經網絡(CNN)的結構；

(三)標記擬合約束(LFC)；

(四)輪廓擬合約束(CFC)；

(五)尺度不變特征變換(SIFT)配對約束(SPC)。

其中，所述的面部對齊方法，訓練一個卷積神經網絡(CNN)用于將密集的3D面部形狀擬合成單個輸入的面部圖像；利用密集的三維形狀表示來施加多個約束，例如，標記擬合約束、輪廓擬合約束和SIFT配對約束。

其中，所述的3D面部表示，將面部的密集三維形狀表示為S，包含Q個頂點的三維位置：