[發明專利]一種基于結構光攝像頭的三維人臉識別方法

有效

• 申請號: 201810342278.5
• 申請日: 2018-04-17
• 公開（公告）號: CN108537191B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 馮瑤;周曦
• 申請（專利權）人: 云從科技集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;G06T5/00;G06T7/41;G06T7/50
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 尹麗云

一種基于結構光攝像頭的三維人臉識別方法，采用以下步驟，步驟1：從二維人臉圖像庫中采集至少兩張同一個人的人臉圖像，且每張人臉圖像具有不同的拍攝角度；步驟2：利用不同拍攝角度的人臉圖像進行三維人臉模型重建；步驟3：通過二維圖片的紋理對三維人臉模型的細節進行完善；步驟4：重復步驟1至步驟3，得到三維人臉數據庫；通過大量二維圖像生成三維人臉模型數據進行訓練，相比使用三維攝像機采集成本低，花費時間少，相比使用三維形變模型生成的訓練數據精度高，與真實數據差異小。

技術領域

本發明涉及人臉識別領域，具體涉及一種基于結構光攝像頭的三維人臉識別方法。

背景技術

近年來，由于人臉數據量的增大以及深度學習算法的發展，人臉識別的準確率得到了極大的提升，在某些數據集上的識別率甚至超過了人類。然而，現階段的人臉識別，由于數據集的限制，主要都是基于二維人臉圖像，在一些極端環境下例如不均勻光照，人臉角度較大等，由于缺少人臉空間信息以及二維彩色圖像紋理變化較大，識別率會大大降低。三維人臉識別，因為其幾何信息對光照不敏感，空間信息完備等特點，剛好能很好的解決上述問題。同時，也因為現階段廉價結構光攝像頭的普及，學術界和工業界漸漸將目光放到三維人臉的識別上。

目前的三維人臉識別技術主要有以下幾種：

(1)基于人工特征的方法：通過精確的三維掃描攝像機，獲取目標任務的三維人臉模型，以三維點云或者三角網格的數據形式表示。對處理好的三維人臉模型進行手工特征提取，例如計算三維點云的曲率，法線，設計SIFT,MMH等特征，再根據提取好的特征進行匹配，進而分辨三維人臉模型是否屬于同一人。這類算法的缺點是，由于使用的人工特征主要基于三維模型，當人臉表情變化較大時三維模型變化也較大，故對于人臉表情較為敏感。而一些全局的人工特征例如計算三維形變模型參數的方法能解決表情變化問題，但需要很大的額外計算量。同時，提取人工特征的方法在大規模三維人臉測試集上表現不是很好。

(2)基于深度學習的方法：由于深度學習在二維人臉識別上的成功，學術界也主要把目光放在使用深度學習的方法來進行三維人臉識別的研究。而深度學習在訓練階段需要大量的數據，三維人臉的采集比起二維人臉來說成本更高。現階段的公開三維人臉數據集大多只采集了幾百人，遠遠達不到能實際應用的訓練量。故除了使用三維攝像頭采集外，還有通過三維形變模型進行三維人臉模型的生成以得到足夠的訓練數據。同時，為了利用深度學習在二維人臉識別的成果，往往也將三維人臉模型投影到二維平面轉化為深度圖等作為輸入，進而分辨是否為同一人臉。這種方法的缺點是，使用三維形變模型生成的數據缺少細節，與真實人臉的差異性較大，實際應用性能不好。只將深度圖作為三維模型的表達方式也缺少了三維人臉的很多其他信息。

為解決以上三維人臉識別方法的缺點，本發明從訓練與測試兩個階段進行分析設計，提供了一種基于結構光的三維人臉識別方法和系統。在訓練階段上，采用基于深度學習的算法，在訓練數據收集方面，通過易獲得的大量二維圖像，重建出該人臉的精確的三維人臉模型，同時與使用精確三維攝像頭采集到的公共三維人臉數據集一起作為訓練數據集。在數據輸入設計上，除了深度圖外，同時將二維彩色圖像，設計的手工特征都作為輸入，使用深度神經網絡進行學習。

在測試階段(實際應用階段)，單純從普通的二維攝像頭獲取的單幀圖像很難重建出精確的三維人臉，故采取結構光攝像頭進行三維人臉信息的獲取。進行預處理后，使用訓練好的神經網絡提取三維人臉的深度特征信息，進而判斷人臉的相似度。

本發明的優點是，通過大量二維圖像生成三維人臉模型數據進行訓練，相比使用三維攝像機采集成本低，花費時間少，相比使用三維形變模型生成的訓練數據精度高，與真實數據差異小。將深度圖與其他局部特征作為神經網絡的輸入，保留了更多的三維模型信息，識別效率更好。最后，使用該方法做出的三維識別系統在光照不平衡，人臉角度較大，人臉表情變化大的情況下取得了很好的識別效果。

發明內容

本發明針對現有技術的不足，提出一種基于結構光攝像頭的三維人臉識別方法，具體技術方案如下：