[發明專利]一種視頻美妝遷移方法及系統

在審

• 申請號: 202211294718.7
• 申請日: 2022-10-21
• 公開（公告）號: CN115689869A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 高林;何月;陳姝宇
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/90;G06T7/40;G06T7/80;G06N3/045;G06N3/09
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;張燕華

本發明提出一種視頻美妝遷移方法，包括：給定一段人臉視頻幀序列，估計視頻的相機內參以及每幀對應的姿態、表情等參數構建為數據集；將該數據集輸入至動態神經輻射場網絡，顯式控制人臉姿態表情，隱式重建三維人臉，得到人臉空間的密度及顏色信息；固定人臉密度預測模塊，重新訓練顏色預測模塊，并用混合人臉損失函數和密集關鍵點顏色損失函數進行監督；引入基于紋理圖的圖像塊判別器進行判別，訓練收斂得到妝容遷移后的美妝人臉神經輻射場。本發明還提出一種視頻美妝遷移系統，以及一種用于實現基于美妝參考圖像對人臉視頻的視頻美妝遷移的數據處理裝置。

技術領域

本發明涉及計算機圖形學以及深度學習領域，特別涉及一種基于神經輻射場和紋理圖塊判別器的美妝遷移人臉視頻的合成方法及系統。

背景技術

近年來，深度神經網絡在人臉圖像合成方面取得了顯著進展。許多工作致力于通過模擬物理場景的變化，如照明條件或面部形狀，來提高肖像的視覺質量。化妝是現實世界中最常用的美容方法之一。對面部的每個部位，有大量相應的化妝品和使用方法。初學者通常需要多年的練習才能畫出精致的妝容。因此，出現了虛擬化妝技術，在線化妝品購物和AR游戲等應用中被廣泛使用。隨著深度學習的發展，當前的方法已經能夠讓用戶在生成照片中看到自己畫上不同化妝風格，即使用戶輸入照片和美妝參照照片的色調和姿勢不同。在虛擬化妝的大多數實際用例中，用戶會呈現大幅度變化的姿態和表情用以檢查妝容在各個角度下的效果。因此，一種可靠的美妝遷移方法需要能夠在不同的3D面部姿勢和動作中保持視覺一致性，這將大大提高虛擬化妝技術的應用性。

盡管生成性對抗網絡在2D圖像上轉換化妝風格方面取得了重大進展，但在生成任意姿勢和表情的美妝人臉圖像方面仍然存在兩個挑戰。首先，大多數基于2D的方法難以處理顯著不同的姿勢和表情，因為它們通常在數據處理階段將訓練數據集中的人臉面部特征進行對齊。雖然一些工作可以處理較大的姿勢和表情差異，但它們在面部視頻上的結果質量仍然受到妝容不對稱的缺陷和幀間閃爍的影響。其次，基于卷積的方法不能保持化妝細節的一致性。其原因在于，在學習和解釋特征時，卷積運算傾向于融合感受野中的像素，導致在傳遞風格特征時模糊精確的外觀細節。

發明內容

針對上述問題，本發明提出一種視頻美妝遷移方法，包括：步驟1，獲取人臉視頻的視頻幀序列、拍攝該人臉視頻的相機的內部參數以及每張視頻幀中人臉的姿態參數和表情參數，構建為第一數據集；步驟2，構建包括密度預測模塊和顏色預測模塊的動態神經輻射場網絡，以該第一數據集對該動態神經輻射場網絡進行訓練至收斂，獲得隱式重建該人臉視頻的神經輻射場網絡；步驟3，固定步驟2中完成訓練的密度預測模塊，基于美妝參考圖像生成該人臉視頻圖像的偽美妝遷移結果，構建為第二數據集；以該第二數據集對該顏色預測模塊進行重新訓練至收斂，使用混合人臉損失函數和密集關鍵點顏色損失函數進行監督，通過紋理圖塊判別器糾正該美妝遷移效果的美妝分布相對于該美妝參考圖像的誤差；步驟4，以完成訓練的動態神經輻射場網絡為該人臉視頻基于該美妝參考圖像的美妝人臉神經輻射場。

本發明所述的視頻美妝遷移方法，于步驟2中，在某一視頻幀的圖像上，將相機位置與圖像上的像素點相連，構成光線射線，在光線上選取采樣點，將該采樣點對應的位置數據和角度數據分別輸入動態神經輻射場網絡進行訓練；該動態神經輻射場網絡包括粗網絡和精細網絡的可學習權重為θ_coarse，的可學習權重為θ_fine；該動態神經輻射場網絡的損失函數為

其中，L_i(θ)＝∑_j||C-I_i[j]||²，I_i[j]表示視頻幀i對應圖像I的像素點j的RGB顏色值，C為該像素點的網絡預測RGB顏色值，N為視頻幀圖像的數量；

訓練過程中，首先訓練以獲得該神經輻射場的密度信息，然后將該密度信息提供給并將在密度大于采集閾值的采樣點附近再選取多個新采樣點對進行訓練；通過訓練收斂的獲得能重建視頻幀所有圖像的網絡。