[發(fā)明專利]一種人臉的紋理貼圖生成方法、系統(tǒng)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201911372885.7
• 申請日: 2019-12-27
• 公開（公告）號(hào): CN111179210B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設(shè)計(jì)）人: 朱向軍;王潔;應(yīng)亞萍
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)之江學(xué)院
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06V40/16
• 代理公司: 長沙新裕知識(shí)產(chǎn)權(quán)代理有限公司 43210
• 代理人: 黃勇

本發(fā)明提供一種人臉的紋理貼圖生成方法、系統(tǒng)及電子設(shè)備，本方法通過獲取目標(biāo)對象的人臉網(wǎng)格模型和多張不同視角的人臉圖像，并將眼睛特征剔除出人臉的正視圖像及側(cè)視圖像，以獲得眼睛圖像及缺眼正視圖、缺眼側(cè)視圖，基于人臉網(wǎng)格模型中每一網(wǎng)格的頂點(diǎn)對應(yīng)的三維坐標(biāo)，根據(jù)柱狀投影方式計(jì)算每一頂點(diǎn)在紋理貼圖上的二維坐標(biāo)，以獲得紋理網(wǎng)格圖，基于眼睛圖像、缺眼正視圖及缺眼側(cè)視圖的像素，獲得人臉的紋理貼圖。通過剔除眼睛特征，將眼睛圖像與其他的人臉圖像獨(dú)立進(jìn)行紋理貼圖的構(gòu)建后重新融合，以獲得最終的紋理貼圖，使得在重建人臉的其他特征時(shí)，可避免對眼睛特征進(jìn)行干擾，讓眼睛特征獨(dú)立進(jìn)行構(gòu)建，提高了眼睛貼圖部分的構(gòu)建準(zhǔn)確性。

【技術(shù)領(lǐng)域】

本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種人臉的紋理貼圖生成方法、系統(tǒng)及電子設(shè)備。

【背景技術(shù)】

人臉貼圖生成方法通常包括對人臉的形狀以及對人臉形狀上的紋理進(jìn)行構(gòu)建，但是現(xiàn)有的人臉的紋理貼圖生成方法在構(gòu)建時(shí)，由于在不同角度方向都可以看見部分眼睛特征，導(dǎo)致在融合各個(gè)角度的紋理貼圖時(shí)，對眼睛特征的構(gòu)建容易造成較大誤差，導(dǎo)致對眼睛部分紋理構(gòu)建的質(zhì)量較低

【發(fā)明內(nèi)容】

為了克服目前現(xiàn)有的人臉的紋理貼圖生成方法中對眼睛特征部分形成的紋理貼圖質(zhì)量較低的問題，本發(fā)明提供人臉的紋理貼圖生成方法、系統(tǒng)及電子設(shè)備。

本發(fā)明為解決上述技術(shù)問題，提供一技術(shù)方案如下：一種人臉的紋理貼圖生成方法，包括如下步驟:步驟S1：獲取目標(biāo)對象的人臉網(wǎng)格模型和通過多個(gè)視角采集到的所述目標(biāo)對象的多張人臉圖像，所述人臉圖像包括至少一人臉的正視圖像和至少左右各一張側(cè)視圖像，并獲取各個(gè)人臉圖像對應(yīng)的視角參數(shù)；步驟S2：識(shí)別所述人臉的正視圖像及側(cè)視圖像中的眼睛特征，并將眼睛特征剔除出所述人臉的正視圖像及側(cè)視圖像，以獲得眼睛圖像及缺眼正視圖、缺眼側(cè)視圖；步驟S3：基于所述人臉網(wǎng)格模型中每一網(wǎng)格的頂點(diǎn)對應(yīng)的三維坐標(biāo)，根據(jù)柱狀投影方式計(jì)算每一頂點(diǎn)在紋理貼圖上的二維坐標(biāo)，以獲得紋理網(wǎng)格圖；及步驟S4：基于所述眼睛圖像、缺眼正視圖及缺眼側(cè)視圖，對所述紋理網(wǎng)格圖進(jìn)行像素填充，獲得人臉的紋理貼圖。

優(yōu)選地，上述步驟S2主要包括以下步驟：步驟S21：獲取所述人臉的正視圖像及側(cè)視圖像中每一特征點(diǎn)對應(yīng)的二維坐標(biāo)；步驟S22：基于步驟S21中的二維坐標(biāo)，將人臉的正視圖像及側(cè)視圖像中眼睛特征對應(yīng)的區(qū)域進(jìn)行裁剪，以獲得眼睛圖像及正視圖像對應(yīng)的缺眼正視圖、缺眼側(cè)視圖。

優(yōu)選地，上述步驟S1主要包括以下步驟：步驟S11：獲取目標(biāo)對象的人臉網(wǎng)格模型，所述人臉網(wǎng)格模型上包括多個(gè)網(wǎng)格及網(wǎng)格對應(yīng)的頂點(diǎn)；及步驟S12：獲取所述人臉的正視圖像、左視圖像及右視圖像及獲取正視圖像、左視圖像及右視圖像對應(yīng)的視角參數(shù)。

優(yōu)選地，步驟S11中獲取目標(biāo)對象的人臉網(wǎng)格模型包括但不限于多視圖立體視覺的重建方法、單目視頻重建及基于結(jié)構(gòu)光重建的一種或多種。

優(yōu)選地，步驟S4中具體包括：步驟S41：基于缺眼正視圖及缺眼側(cè)視圖及對應(yīng)特征點(diǎn)的二維坐標(biāo)，對所述紋理網(wǎng)格圖進(jìn)行像素填充；步驟S42：判斷網(wǎng)格是否位于正視圖像上，若是則進(jìn)入步驟S43，若否則進(jìn)入步驟S44；步驟S43：將所述眼睛圖像對應(yīng)的像素填充所述網(wǎng)格；步驟S44：根據(jù)該網(wǎng)格臨近像素值進(jìn)行填充。

本發(fā)明還提供一種人臉的紋理貼圖生成系統(tǒng)，包括：模型及圖像獲取單元，用于獲取目標(biāo)對象的人臉網(wǎng)格模型和通過多個(gè)視角采集到的所述目標(biāo)對象的多張人臉圖像，所述人臉圖像包括至少一人臉的正視圖像和至少左右各一張側(cè)視圖像，并獲取各個(gè)人臉圖像對應(yīng)的視角參數(shù)；特征分割單元，用于識(shí)別所述人臉的正視圖像及側(cè)視圖像中的眼睛特征，并將眼睛特征剔除出所述人臉的正視圖像及側(cè)視圖像，以獲得眼睛圖像及正視圖像對應(yīng)的缺眼正視圖、缺眼側(cè)視圖；投影單元，用于基于所述人臉網(wǎng)格模型中每一網(wǎng)格的頂點(diǎn)對應(yīng)的三維坐標(biāo)，根據(jù)柱狀投影方式計(jì)算每一頂點(diǎn)在紋理貼圖上的二維坐標(biāo)，以獲得紋理網(wǎng)格圖；及填充單元，用于基于所述眼睛圖像、缺眼正視圖及缺眼側(cè)視圖，對所述紋理網(wǎng)格圖進(jìn)行像素填充，獲得人臉的紋理貼圖。