[發(fā)明專利]一種三維人臉重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011288180.X
• 申請日: 2020-11-17
• 公開（公告）號: CN112562082A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 孫碩;嵇曉強(qiáng);劉丹;石樂民;王美嬌
• 申請（專利權(quán)）人: 長春理工大學(xué)
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/73;G06T7/33;G06T5/00;G06T3/40
• 代理公司: 北京哌智科創(chuàng)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11745
• 代理人: 宗兵

本發(fā)明公開了一種三維人臉重建方法及系統(tǒng)，該方法包括：獲取待重建的目標(biāo)人臉的多個(gè)角度的深度圖像；將獲取的各個(gè)角度的深度圖像分別轉(zhuǎn)換為對應(yīng)的點(diǎn)云數(shù)據(jù)；將各個(gè)角度的點(diǎn)云數(shù)據(jù)進(jìn)行去燥處理并進(jìn)行數(shù)據(jù)配準(zhǔn)，實(shí)現(xiàn)各個(gè)角度的點(diǎn)云數(shù)據(jù)的拼接，以得到待重建的目標(biāo)人臉對應(yīng)的三維點(diǎn)云數(shù)據(jù)；對三維點(diǎn)云數(shù)據(jù)進(jìn)行網(wǎng)格化處理及人臉貼圖操作，以得到待重建的目標(biāo)人臉對應(yīng)的三維人臉模型。本發(fā)明重建的三維人臉誤差小，立體感強(qiáng)，并攜帶大量紋理信息，解決了現(xiàn)有方法重建速率慢與結(jié)果不準(zhǔn)確等問題，將其應(yīng)用于面部虛擬整形，可對專業(yè)醫(yī)師提供術(shù)前指導(dǎo)，提高手術(shù)成功率，降低手術(shù)風(fēng)險(xiǎn)，具有廣闊的應(yīng)用前景。

技術(shù)領(lǐng)域

本發(fā)明涉及三維重建技術(shù)領(lǐng)域，尤其涉及一種三維人臉重建方法及系統(tǒng)。

背景技術(shù)

面部整容手術(shù)由于不能在術(shù)前對患者面部進(jìn)行客觀定量的形態(tài)學(xué)評價(jià)，極易導(dǎo)致手術(shù)結(jié)果的不理想甚至失敗。而且，整形醫(yī)生僅憑專業(yè)知識與經(jīng)驗(yàn)，無法精準(zhǔn)量化人臉數(shù)據(jù)，手術(shù)過程缺乏客觀有效指導(dǎo)。

三維重建技術(shù)借助三維掃描設(shè)備采集數(shù)據(jù)，對采集到的三維數(shù)據(jù)進(jìn)行去噪、計(jì)算機(jī)圖像處理、重建等操作，重塑掃描體形態(tài)。三維重建根據(jù)相機(jī)的不同，可分為單、雙目重建，深度相機(jī)重建等三種方式。單目重建常規(guī)上使用SFM重建算法，該算法可對多幅無序圖片進(jìn)行重建；雙目重建利用雙鏡頭拍攝矯正圖片，找到矯正圖片的匹配點(diǎn)，根據(jù)三角測量原理恢復(fù)出環(huán)境的三維信息。深度相機(jī)重建主要是對采集到的深度圖像通過計(jì)算機(jī)加工處理，深度圖像中的每個(gè)像素值可表示物體與鏡頭之間的距離，因此對其進(jìn)行坐標(biāo)轉(zhuǎn)換、去噪、網(wǎng)格化處理即可重構(gòu)真實(shí)物體三維形態(tài)。近年來，深度相機(jī)獲取深度圖像的技術(shù)得到了完善和進(jìn)步，該方法重建精度高，已成為三維重建的主要方法。

三維重建技術(shù)重建精度高，速度快，且與被測物無接觸，更適用于整形外科人體形態(tài)的建模。Elen J.Parry等利用三維重建，對三維數(shù)據(jù)處理并制作人體假肢，為患有關(guān)節(jié)炎的患者提供手術(shù)指導(dǎo)。Galea Kurt對患者面部進(jìn)行三維掃描并重建出個(gè)性化面罩對患者進(jìn)行輔助治療。然而，由于基于三維重建技術(shù)的虛擬整形系統(tǒng)對硬件設(shè)備和軟件算法都有較高的要求，因此目前國內(nèi)外成熟完善的面部虛擬整形系統(tǒng)還是很少。日本大阪醫(yī)學(xué)院于2017年實(shí)現(xiàn)了面部整形和面部重建預(yù)期結(jié)果的3D模擬，但是該技術(shù)數(shù)據(jù)重建速度慢，掃描精度低。東南大學(xué)開發(fā)的虛擬頜面部整形手術(shù)軟件，對CT掃描圖像進(jìn)行計(jì)算重構(gòu)人臉模型，這種方法會導(dǎo)致人臉的重建速度慢，工程計(jì)算量大，并且不易操作。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術(shù)存在的缺點(diǎn)，本發(fā)明提供了一種三維人臉重建方法及系統(tǒng)，以至少部分解決上述現(xiàn)有方法重建速率慢與結(jié)果不準(zhǔn)確的技術(shù)問題。

為解決上述技術(shù)問題，本發(fā)明提供了如下技術(shù)方案：

一方面，本發(fā)明提供了一種三維人臉重建方法，該方法包括：

獲取待重建的目標(biāo)人臉的多個(gè)角度的深度圖像；

將獲取的各個(gè)角度的深度圖像分別轉(zhuǎn)換為對應(yīng)的點(diǎn)云數(shù)據(jù)；

將各個(gè)角度的點(diǎn)云數(shù)據(jù)進(jìn)行去燥處理并進(jìn)行數(shù)據(jù)配準(zhǔn)，實(shí)現(xiàn)各個(gè)角度的點(diǎn)云數(shù)據(jù)的拼接，以得到所述待重建的目標(biāo)人臉對應(yīng)的三維點(diǎn)云數(shù)據(jù)；

對所述三維點(diǎn)云數(shù)據(jù)進(jìn)行網(wǎng)格化處理及人臉貼圖操作，以得到所述待重建的目標(biāo)人臉對應(yīng)的三維人臉模型。

進(jìn)一步地，所述獲取待重建的目標(biāo)人臉的多個(gè)角度的深度圖像，包括：

通過深度相機(jī)采集待重建的目標(biāo)人臉的正面和兩個(gè)側(cè)面的深度圖像。

進(jìn)一步地，將獲取的各個(gè)角度的深度圖像分別轉(zhuǎn)換為對應(yīng)的點(diǎn)云數(shù)據(jù)，包括：

利用所述深度相機(jī)的內(nèi)參矩陣，基于各個(gè)角度的深度圖像，通過坐標(biāo)轉(zhuǎn)換得到各個(gè)角度的點(diǎn)云數(shù)據(jù)；其中，所述內(nèi)參矩陣由所述深度相機(jī)在x，y兩個(gè)軸上的焦距為f_x，f_y和所述深度相機(jī)在x，y兩個(gè)軸上的光圈中心c_x，c_y表示。