[發(fā)明專利]一種包含尺度信息的人臉三維重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810566434.6
• 申請日: 2018-06-04
• 公開（公告）號: CN109087386A
• 公開（公告）日: 2018-12-25
• 發(fā)明（設計）人: 晁志超;王時麗
• 申請（專利權）人: 成都通甲優(yōu)博科技有限責任公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T3/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及計算機視覺技術領域，實施例具體公開一種包含尺度信息的人臉三維重建方法及系統(tǒng)。本發(fā)明提供的人臉三維重建方法及系統(tǒng)，通過獲取目標人臉的N個三維特征點，將目標人臉的N個三維特征點進行深度學習，獲得目標人臉點云模型；獲取目標人臉的目標人臉三維點云；再將目標人臉點云模型與目標人臉三維點云進行配準，從而獲得最終目標人臉三維點云。解決了現(xiàn)有的三維重建方法不能重建具有尺度信息和表面信息的人臉三維模型的問題，獲得了一個沒有變形且擁有表面細節(jié)的人臉三維重建結果，實現(xiàn)了人臉三維模型更廣闊的應用。

技術領域

本發(fā)明涉及計算機視覺技術領域，具體涉及一種包含尺度信息的人臉三維重建方法及系統(tǒng)。

背景技術

傳統(tǒng)的三維重建方法有：光度立體，結構光，雙目視覺，TOF等等。光度立體視覺可以看成是一種三維表面重建方法，由它得到的物體表面細節(jié)非常豐富，還原度高，但是傳統(tǒng)的光度立體視覺在整體上由于模型不精確性而存在偏差，并且存在尺度變化而無法直接用于三維測量，所重建出來的三維模型可能發(fā)生變形。結構光和TOF等算法結果也比較精確，但是都依賴于一些要求高的設備，應用場景是比較受限制的。雙目立體視覺得到的重建結果有具體的尺度信息，但是噪聲較大，算法不是很魯棒。所以，依照前面所述的三維重建方法得到的重建結果都各有各的局限性。

目前，越來越多的領域需要對人臉進行三維重建，以獲得人臉三維立體模型的尺度信息和表面信息，因此，如何獲得一個沒有變形且擁有表面細節(jié)的人臉三維重建結果是目前亟待解決的問題。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)峁┮环N結合人臉特征點和人臉三維點云的方案，能夠克服上述缺點，獲得一個具有尺度信息和表面細節(jié)信息的人臉三維模型。

為解決以上技術問題，本發(fā)明提供的技術方案是一種包含尺度信息的人臉三維重建方法，包括：

獲取目標人臉的N個三維特征點；

將所述目標人臉的N個三維特征點進行深度學習，獲得目標人臉點云模型；

獲取目標人臉的目標人臉三維點云；

將所述目標人臉點云模型與所述目標人臉三維點云進行配準，獲得最終目標人臉三維點云；

其中N為大于1的正整數(shù)。

優(yōu)選地，所述獲取目標人臉的N個三維特征點的方法，包括：

獲取目標人臉的雙目二維圖像左圖和雙目二維圖像右圖；

從所述雙目二維圖像左圖和所述雙目二維圖像右圖中各提取出一組目標人臉的N個二維特征點；

根據(jù)所述提取出的兩組目標人臉的N個二維特征點，采用雙目立體匹配算法計算出目標人臉的N個三維特征點的坐標。

優(yōu)選地，所述獲取目標人臉的目標人臉三維點云的方法，包括：采用光度立體視覺方法獲取目標人臉的目標人臉三維點云。

優(yōu)選地，所述將所述目標人臉點云模型與所述目標人臉三維點云進行配準，獲得最終目標人臉三維點云的方法，包括：

將所述目標人臉點云模型設為基準模型；

將所述目標人臉三維點云配準到所述目標人臉點云模型上。

優(yōu)選地，所述將所述目標人臉三維點云配準到所述目標人臉點云模型上的方法，包括：

構造所述目標人臉點云模型與所述目標人臉三維點云的點云點能量函數(shù)；

通過最優(yōu)化算法求解所述點云點能量函數(shù)，獲得最終目標人臉三維點云。

優(yōu)選地，所述點云點能量函數(shù)包括保真項和正則約束項。

本發(fā)明還提供一種包含尺度信息的人臉三維重建系統(tǒng)，包括：