[發(fā)明專(zhuān)利]一種人臉的紋理貼圖生成方法、系統(tǒng)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911372885.7
• 申請(qǐng)日: 2019-12-27
• 公開(kāi)（公告）號(hào): CN111179210B
• 公開(kāi)（公告）日: 2023-10-20
• 發(fā)明（設(shè)計(jì)）人: 朱向軍;王潔;應(yīng)亞萍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江工業(yè)大學(xué)之江學(xué)院
• 主分類(lèi)號(hào): G06T5/50
• 分類(lèi)號(hào): G06T5/50;G06V40/16
• 代理公司: 長(zhǎng)沙新裕知識(shí)產(chǎn)權(quán)代理有限公司 43210
• 代理人: 黃勇

1.一種人臉的紋理貼圖生成方法，其特征在于：包括如下步驟:

步驟S1：獲取目標(biāo)對(duì)象的人臉網(wǎng)格模型和通過(guò)多個(gè)視角采集到的所述目標(biāo)對(duì)象的多張人臉圖像，所述人臉圖像包括至少一人臉的正視圖像和至少左右各一張側(cè)視圖像，并獲取各個(gè)人臉圖像對(duì)應(yīng)的視角參數(shù)；

步驟S2：識(shí)別所述人臉的正視圖像及側(cè)視圖像中的眼睛特征，并將眼睛特征剔除出所述人臉的正視圖像及側(cè)視圖像，以獲得眼睛圖像及正視圖像對(duì)應(yīng)的缺眼正視圖、缺眼側(cè)視圖；

步驟S3：基于所述人臉網(wǎng)格模型中每一網(wǎng)格的頂點(diǎn)對(duì)應(yīng)的三維坐標(biāo)，根據(jù)柱狀投影方式計(jì)算每一頂點(diǎn)在紋理貼圖上的二維坐標(biāo)，以獲得紋理網(wǎng)格圖；及

步驟S4：基于所述眼睛圖像、缺眼正視圖及缺眼側(cè)視圖，對(duì)所述紋理網(wǎng)格圖進(jìn)行像素填充，獲得人臉的紋理貼圖。

2.如權(quán)利要求1中所述人臉的紋理貼圖生成方法，其特征在于：上述步驟S2主要包括以下步驟：

步驟S21：獲取所述人臉的正視圖像及側(cè)視圖像中每一特征點(diǎn)對(duì)應(yīng)的二維坐標(biāo)；及

步驟S22：基于步驟S21中的二維坐標(biāo)，將人臉的正視圖像及側(cè)視圖像中眼睛特征對(duì)應(yīng)的區(qū)域進(jìn)行裁剪，以獲得眼睛圖像及正視圖像對(duì)應(yīng)的缺眼正視圖、缺眼側(cè)視圖。

3.如權(quán)利要求1中所述人臉的紋理貼圖生成方法，其特征在于：上述步驟S1主要包括以下步驟：

步驟S11：獲取目標(biāo)對(duì)象的人臉網(wǎng)格模型，所述人臉網(wǎng)格模型上包括多個(gè)網(wǎng)格及網(wǎng)格對(duì)應(yīng)的頂點(diǎn)；及

步驟S12：獲取所述人臉的正視圖像、左視圖像及右視圖像及獲取正視圖像、左視圖像及右視圖像對(duì)應(yīng)的視角參數(shù)。

4.如權(quán)利要求3中所述人臉的紋理貼圖生成方法，其特征在于：步驟S11中獲取目標(biāo)對(duì)象的人臉網(wǎng)格模型包括但不限于多視圖立體視覺(jué)的重建方法、單目視頻重建及基于結(jié)構(gòu)光重建的一種或多種。

5.如權(quán)利要求2中所述人臉的紋理貼圖生成方法，其特征在于：步驟S4中具體包括：

步驟S41：基于缺眼正視圖及缺眼側(cè)視圖及對(duì)應(yīng)特征點(diǎn)的二維坐標(biāo)，對(duì)所述紋理網(wǎng)格圖進(jìn)行像素填充；

步驟S42：判斷網(wǎng)格是否位于正視圖像上，若是則進(jìn)入步驟S43，若否則進(jìn)入步驟S44；

步驟S43：將所述眼睛圖像對(duì)應(yīng)的像素填充所述網(wǎng)格；及

步驟S44：根據(jù)該網(wǎng)格臨近像素值進(jìn)行填充。

6.一種人臉的紋理貼圖生成系統(tǒng)，其特征在于，包括：

模型及圖像獲取單元，用于獲取目標(biāo)對(duì)象的人臉網(wǎng)格模型和通過(guò)多個(gè)視角采集到的所述目標(biāo)對(duì)象的多張人臉圖像，所述人臉圖像包括至少一人臉的正視圖像和至少左右各一張側(cè)視圖像，并獲取各個(gè)人臉圖像對(duì)應(yīng)的視角參數(shù)；

特征分割單元，用于識(shí)別所述人臉的正視圖像及側(cè)視圖像中的眼睛特征，并將眼睛特征剔除出所述人臉的正視圖像及側(cè)視圖像，以獲得眼睛圖像及缺眼正視圖、缺眼側(cè)視圖；

投影單元，用于基于所述人臉網(wǎng)格模型中每一網(wǎng)格的頂點(diǎn)對(duì)應(yīng)的三維坐標(biāo)，根據(jù)柱狀投影方式計(jì)算每一頂點(diǎn)在紋理貼圖上的二維坐標(biāo)，以獲得紋理網(wǎng)格圖；及

填充單元，用于基于所述眼睛圖像、缺眼正視圖及缺眼側(cè)視圖，對(duì)所述紋理網(wǎng)格圖進(jìn)行像素填充，獲得人臉的紋理貼圖。

7.一種電子設(shè)備，包括存儲(chǔ)器和處理器，其特征在于：所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被設(shè)置為運(yùn)行時(shí)執(zhí)行所述權(quán)利要求1至5任一項(xiàng)中所述人臉的紋理貼圖生成方法；

所述處理器被設(shè)置為通過(guò)所述計(jì)算機(jī)程序執(zhí)行所述權(quán)利要求1至5任一項(xiàng)中所述人臉的紋理貼圖生成方法。