[發(fā)明專利]一種視頻美妝遷移方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211294718.7
• 申請日: 2022-10-21
• 公開（公告）號: CN115689869A
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 高林;何月;陳姝宇
• 申請（專利權(quán)）人: 中國科學(xué)院計(jì)算技術(shù)研究所
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/90;G06T7/40;G06T7/80;G06N3/045;G06N3/09
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國;張燕華

1.一種視頻美妝遷移方法，其特征在于，包括：

步驟1，獲取人臉視頻的視頻幀序列、拍攝該人臉視頻的相機(jī)的內(nèi)部參數(shù)以及每張視頻幀中人臉的姿態(tài)參數(shù)和表情參數(shù)，構(gòu)建為第一數(shù)據(jù)集；

步驟2，構(gòu)建包括密度預(yù)測模塊和顏色預(yù)測模塊的動(dòng)態(tài)神經(jīng)輻射場網(wǎng)絡(luò)，以該第一數(shù)據(jù)集對該動(dòng)態(tài)神經(jīng)輻射場網(wǎng)絡(luò)進(jìn)行訓(xùn)練至收斂，獲得隱式重建該人臉視頻的神經(jīng)輻射場網(wǎng)絡(luò)；

步驟3，固定步驟2中完成訓(xùn)練的密度預(yù)測模塊，基于美妝參考圖像生成該人臉視頻圖像的偽美妝遷移結(jié)果，構(gòu)建為第二數(shù)據(jù)集；以該第二數(shù)據(jù)集對該顏色預(yù)測模塊進(jìn)行重新訓(xùn)練至收斂，使用混合人臉損失函數(shù)和密集關(guān)鍵點(diǎn)顏色損失函數(shù)進(jìn)行監(jiān)督，通過紋理圖塊判別器糾正該美妝遷移效果的美妝分布相對于該美妝參考圖像的誤差；

步驟4，以完成訓(xùn)練的動(dòng)態(tài)神經(jīng)輻射場網(wǎng)絡(luò)為該人臉視頻基于該美妝參考圖像的美妝人臉神經(jīng)輻射場。

2.如權(quán)利要求1所述的視頻美妝遷移方法，其特征在于，步驟2中，在某一視頻幀的圖像上，將相機(jī)位置與圖像上的像素點(diǎn)相連，構(gòu)成光線射線，在光線上選取采樣點(diǎn)，將該采樣點(diǎn)對應(yīng)的位置數(shù)據(jù)和角度數(shù)據(jù)分別輸入動(dòng)態(tài)神經(jīng)輻射場網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

該動(dòng)態(tài)神經(jīng)輻射場網(wǎng)絡(luò)包括粗網(wǎng)絡(luò)和精細(xì)網(wǎng)絡(luò)的可學(xué)習(xí)權(quán)重為θ_coarse，的可學(xué)習(xí)權(quán)重為θ_fine；該動(dòng)態(tài)神經(jīng)輻射場網(wǎng)絡(luò)的損失函數(shù)為

其中，L_i(θ)＝∑_j||C-I_i[j]||²，I_i[j]表示視頻幀i對應(yīng)圖像I的像素點(diǎn)j的RGB顏色值，C為該像素點(diǎn)的網(wǎng)絡(luò)預(yù)測RGB顏色值，N為視頻幀圖像的數(shù)量；

訓(xùn)練過程中，首先訓(xùn)練以獲得該神經(jīng)輻射場的密度信息，然后將該密度信息提供給并將在密度大于采集閾值的采樣點(diǎn)附近再選取多個(gè)新采樣點(diǎn)對進(jìn)行訓(xùn)練；通過訓(xùn)練收斂的獲得能重建視頻幀所有圖像的網(wǎng)絡(luò)。

3.如權(quán)利要求1所述的視頻美妝遷移方法，其特征在于，步驟3中，首先將美妝參考圖像x基于參考圖和目標(biāo)圖的人臉關(guān)鍵點(diǎn)對應(yīng)進(jìn)行人臉變形，并將變形結(jié)果貼合到視頻幀圖像y_i上，并利用泊松融合與原圖像融合，生成具有目標(biāo)美妝分布的偽美妝圖像其中i代表視頻的第i幀圖像；

對該顏色預(yù)測模塊進(jìn)行重新訓(xùn)練的過程由混合美妝顏色損失函數(shù)L^hybrid和密集關(guān)鍵點(diǎn)顏色損失函數(shù)L^dense進(jìn)行監(jiān)督，對該顏色預(yù)測模塊訓(xùn)練收斂后，得到y(tǒng)_i基于x的美妝遷移結(jié)果其中，

K為從和中裁剪出的包含關(guān)鍵面部特征的關(guān)鍵圖像塊g_k的數(shù)量，p_k表示該關(guān)鍵圖像塊的偽真值，n_k表示該關(guān)鍵圖像塊未上妝前的原始圖像，表示關(guān)鍵圖像塊的損失函數(shù)在L^hybrid中的比重，表示該關(guān)鍵圖像塊中臉部皮膚區(qū)域的偽真值，表示該臉部皮膚區(qū)域的美妝遷移結(jié)果，表示該臉部皮膚區(qū)域的損失函數(shù)在L^hybrid中的比重，M為臉部區(qū)域關(guān)鍵圖像塊的數(shù)量，p_eye,lip表示該關(guān)鍵圖像塊中眼睛和嘴唇部分的偽真值，g_eye,lip表示該眼睛和嘴唇部分的美妝遷移結(jié)果，λ^optional表示該眼睛和嘴唇部分的損失函數(shù)在L^hybrid中所占的比重，是從圖像提取第d個(gè)密集人臉關(guān)鍵點(diǎn)顏色的操作，表示整張人臉的美妝遷移結(jié)果，x是美妝參考圖像，D是人臉關(guān)鍵點(diǎn)的數(shù)量。

4.如權(quán)利要求1所述的視頻美妝遷移方法，其特征在于，對該顏色預(yù)測模塊進(jìn)行重新訓(xùn)練的過程中，以和x_uv作為該紋理圖塊鑒別器的輸入，從和x_uv的固定關(guān)鍵點(diǎn)位置中裁取塊進(jìn)行誤差判別；其中，為該人臉視頻的美妝遷移結(jié)果y^X的UV紋理貼圖，x_uv為美妝參考圖像x的UV紋理貼圖。