[發(fā)明專利]一種基于三維人頭跟蹤的實(shí)時(shí)虛擬試發(fā)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110010852.9
• 申請(qǐng)日: 2021-01-06
• 公開（公告）號(hào): CN112802031B
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 趙葉清;楊柏林;楊文武
• 申請(qǐng)（專利權(quán)）人: 浙江工商大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T15/00;G06T19/00;G06V10/774
• 代理公司: 杭州奧創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 33272
• 代理人: 王佳健

1.一種基于三維人頭跟蹤的實(shí)時(shí)虛擬試發(fā)方法，其特征在于該方法包括以下步驟：

步驟1、訓(xùn)練耳朵和脖子分割器

(1-1)準(zhǔn)備帶有耳朵掩膜和脖子掩膜的人臉圖片數(shù)據(jù)庫(kù)；

(1-2)使用人臉圖片數(shù)據(jù)庫(kù)來(lái)訓(xùn)練實(shí)例分割模型，得到耳朵脖子分割器；

步驟2、訓(xùn)練三維人頭重建模型

(2-1)構(gòu)建三維人頭重建模型，所述的三維人頭重建模型包括特征提取網(wǎng)絡(luò)，參數(shù)回歸網(wǎng)絡(luò)和FLAME解碼網(wǎng)絡(luò)；

所述特征提取網(wǎng)絡(luò)用于提取人臉輸入圖片的2048維的特征向量；

所述參數(shù)回歸網(wǎng)絡(luò)的輸入為特征提取網(wǎng)絡(luò)提取的特征向量，輸出為159維的參數(shù)向量，其中前3維為相機(jī)參數(shù)，接下來(lái)6維為姿態(tài)參數(shù)，接下來(lái)100維為形狀參數(shù)，余下50維為表情參數(shù)；

將獲得的姿態(tài)參數(shù)、形狀參數(shù)和表情參數(shù)作為FLAME解碼網(wǎng)絡(luò)的輸入，得到與人臉輸入圖片中人臉對(duì)應(yīng)的三維人頭；

(2-2)使用訓(xùn)練集對(duì)三維人頭重建模型進(jìn)行訓(xùn)練，通過(guò)最小化關(guān)鍵點(diǎn)損失函數(shù)、形狀一致?lián)p失函數(shù)、耳朵形狀一致?lián)p失函數(shù)和脖子形狀一致?lián)p失函數(shù)來(lái)得到最優(yōu)的網(wǎng)絡(luò)模型參數(shù)；

關(guān)鍵點(diǎn)損失函數(shù)如下：

其中k_i為由二維人臉關(guān)鍵點(diǎn)檢測(cè)器檢測(cè)出的人臉關(guān)鍵點(diǎn)的位置，w_i為由二維人臉關(guān)鍵點(diǎn)檢測(cè)器提供的人臉關(guān)鍵點(diǎn)的置信度，為重建的三維人頭上的三維關(guān)鍵點(diǎn)投影到二維圖片空間的位置；

形狀一致?lián)p失函數(shù)如下：

其中β_i和β_j為一個(gè)人在不同環(huán)境下的圖片通過(guò)三維人頭重建模型預(yù)測(cè)出來(lái)的形狀參數(shù)，β_i和β_k為不同人的圖片通過(guò)三維人頭重建模型預(yù)測(cè)出來(lái)的形狀參數(shù)，η為自定義的閾值；

耳朵形狀一致?lián)p失函數(shù)如下：

L_ear＝‖M′_ear-M_ear‖₂

其中M_ear為耳朵和脖子分割器分割出來(lái)的耳朵區(qū)域，M′_ear為重建的三維人頭上的耳朵投影到二維圖片的區(qū)域；

脖子形狀一致?lián)p失函數(shù)如下：

L_neck＝‖M′_neck-M_neck‖₂

其中M_neck為耳朵和脖子分割器分割出來(lái)的脖子區(qū)域，M′_neck為重建的三維人頭上的脖子投影到二維圖片的區(qū)域；

步驟3、虛擬試戴

(3-1)準(zhǔn)備三維頭發(fā)模型；

(3-2)通過(guò)三維人頭重建模型構(gòu)建試戴者的三維人頭；

(3-3)將三維頭發(fā)模型佩戴到試戴者的三維人頭上并進(jìn)行增強(qiáng)現(xiàn)實(shí)繪制。

2.根據(jù)權(quán)利要求1所述的一種基于三維人頭跟蹤的實(shí)時(shí)虛擬試發(fā)方法，其特征在于：步驟1中所述的人臉圖片數(shù)據(jù)庫(kù)采用公開的數(shù)據(jù)庫(kù)CelebAMask-HQ。

3.根據(jù)權(quán)利要求1所述的一種基于三維人頭跟蹤的實(shí)時(shí)虛擬試發(fā)方法，其特征在于：步驟1中所述的耳朵脖子分割器由Mask-RCNN模型訓(xùn)練得到。

4.根據(jù)權(quán)利要求1所述的一種基于三維人頭跟蹤的實(shí)時(shí)虛擬試發(fā)方法，其特征在于：步驟3具體是：

收集18-22個(gè)不同的三維頭發(fā)模型，在FLAME平均模型上選取四個(gè)點(diǎn)p，分別為左耳朵、右耳朵、左前額處和右前額處；

對(duì)于任一人臉視頻幀，獲得通過(guò)三維人頭重建模型生成的三維人頭模型上對(duì)應(yīng)的四個(gè)點(diǎn)q位置，求得一個(gè)最優(yōu)的相似變化矩陣T_s：

將相似變化矩陣T_s作用到三維頭發(fā)模型上，即將三維頭發(fā)模型佩戴到輸入的視頻幀中用戶的三維人頭上。

5.根據(jù)權(quán)利要求3所述的一種基于三維人頭跟蹤的實(shí)時(shí)虛擬試發(fā)方法，其特征在于：在繪制時(shí)，只繪制未被三維人頭遮擋的三維頭發(fā)模型并把繪制結(jié)果直接疊加在當(dāng)前視頻幀上。