[發明專利]一種基于深度度量學習的人臉特征點定位方法

在審

• 申請號: 202010464754.8
• 申請日: 2020-05-28
• 公開（公告）號: CN111652105A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 吳平平
• 申請（專利權）人: 南京審計大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京匯捷知識產權代理事務所(普通合伙) 11531
• 代理人: 馬金華

本發明公開了一種基于深度度量學習的人臉特征點定位方法，具體方法如下：（1）訓練：①標定人臉三維模型特征點位置；②對三維模型進行正交投影；③獲得深度圖像（包括三維特征點所對應二維坐標位置）；④深度網絡訓練：以卷積神經網絡為主要結構（樣本是深度圖的值，標簽是特征點二維坐標）進行訓練；（2）預測：①輸入三維模型進行正交投影獲得深度圖像；②使用已訓練好的深度網絡對深度圖像進行特征點二維坐標預測；③輸出二維坐標一一反投影到三維坐標，在三維模型上得到特征點位置，本發明設計合理，利用基于三維人臉模型正交投影生成合理深度值的二維深度圖像，解決了三維人臉特征點需人工手動定位以及標定三維特征點耗時長等問題。

技術領域

本發明涉及人工智能領域，具體涉及一種基于深度度量學習的人臉特征點定位方法。

背景技術

二維人臉識別技術發展迅速，但沒有很好解決光照、表情等問題。光照條件、姿態變化等因素都對二維人臉精確檢測與識別有較大影響。近年，三維人臉識別技術受到了越來越多關注。相對于二維人臉識別技術，三維人臉識別技術較容易做到姿態與光照的不變性。隨著技術發展，三維模型獲取日趨簡化，促進了三維人臉識別、三維表情識別、三維人臉分割等三維人臉方面的研究。國內外關于三維人臉特征點定位的一些研究包括：基于曲率進行特征點定位，曲率是三維研究中重要基本屬性之一，且有歐氏變換不變性，Chang等綜合利用平均曲率及高斯曲率定位眼眶、鼻尖、鼻梁等人臉特殊區域。基于曲率的三維特征點定位算法缺點是對于數據噪聲較為敏感，除了內眼點以及鼻尖點外，其余特征點定位效果達不到要求；王蜜宮等基于局部形狀圖的方法，半徑大小選擇很關鍵，但大小確定較困難，選擇不當直接影響結果精度，且只能對個別幾個特征點進行預測；利用較成熟二維圖像數據人臉特征點定位技術，輔助定位三維人臉數據特征點，但此類算法要求三維數據存在二維輔助圖像，無法僅用于三維信息人臉數據。

發明內容

本發明的目的是為解決上述不足，提供一種基于深度度量學習的人臉特征點定位方法。

本發明的目的是通過以下技術方案實現的：

一種基于深度度量學習的人臉特征點定位方法，具體方法如下：（1）訓練：①標定人臉三維模型特征點位置；②對三維模型進行正交投影；③獲得深度圖像（包括三維特征點所對應二維坐標位置）；④深度網絡訓練：以卷積神經網絡為主要結構（樣本是深度圖的值，標簽是特征點二維坐標）進行訓練；（2）預測：①輸入三維模型進行正交投影獲得深度圖像（不包括特征點位置）；②使用已訓練好的深度網絡對深度圖像進行特征點二維坐標預測；③輸出二維坐標一一反投影到三維坐標，在三維模型上得到特征點位置。

人臉三維模型特征點位置標記為左眼中心、左眼內側、左眼外側、右眼中心、右眼內側、右眼外側、左眉外側、左眉內側、右眉外側、右眉內側、鼻尖、嘴巴上側、嘴巴下側、嘴巴左側、嘴巴右側共計15個特征點。

深度網絡的架構由卷積神經網絡構成，先是輸入層，經過3層以卷積層、池化層為主網絡結構，然后是2層全連接層，最后是計算損失層，第一層卷積層：kernel size=5，stride=1；下接ReLU層；第一層池化層：kernel size=2，stride=2；第二層卷積層：kernelsize=5，stride=1；下接ReLU層；第二層池化層：kernel size=2，stride=2；第三層卷積層：kernel size=3，stride=1；下接ReLU層，然后下接2個全連接層，參數num_output分別為500、30。

正交投影可以得到空間三維坐標所對應二維坐標以及其對應深度值大小，即三維模型可以生成相應深度圖像。

本發明具有如下有益的效果：

本發明設計合理，利用基于三維人臉模型正交投影生成合理深度值的二維深度圖像，結合卷積神經網絡強大的圖像特征提取及擬合能力，解決了三維人臉特征點需人工手動定位以及標定三維特征點耗時長等問題。

附圖說明