[發(fā)明專利]一種基于換臉的合成人臉修復(fù)方法、介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202310208841.0
• 申請日: 2023-03-06
• 公開（公告）號: CN116523806A
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計）人: 曹娟;方凌飛;黃子堯;唐勝
• 申請（專利權(quán)）人: 中國科學(xué)院計算技術(shù)研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06T13/40;G06T13/20;G06N3/0455
• 代理公司: 北京泛華偉業(yè)知識產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

1.一種合成人臉修復(fù)模型的構(gòu)建方法，其特征在于，包括：

利用合成人臉圖像集訓(xùn)練第一自編碼器進(jìn)行人臉圖像重構(gòu)，得到經(jīng)訓(xùn)練的第一自編碼器，其中，第一自編碼器包括編碼器和解碼器，合成人臉圖像集包括目標(biāo)人物說話狀態(tài)的合成人臉圖像；

利用源人臉圖像集訓(xùn)練第二自編碼器進(jìn)行人臉圖像重構(gòu)，得到經(jīng)訓(xùn)練的第二自編碼器，其中，第二自編碼器包括編碼器和解碼器，源人臉圖像集包括目標(biāo)人物正常說話狀態(tài)的人臉圖像；

構(gòu)建用于對人臉圖像進(jìn)行修復(fù)的人臉修復(fù)模型，其由經(jīng)訓(xùn)練的第一自編碼器的編碼器以及經(jīng)訓(xùn)練的第二自編碼器的解碼器構(gòu)成。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述源人臉圖像集是由目標(biāo)人物正常說話狀態(tài)下錄制的源視頻中的多張源人臉圖像構(gòu)成，所述合成人臉圖像集是由語音驅(qū)動人臉唇形技術(shù)基于所述源視頻合成的合成視頻中的多張合成人臉圖像構(gòu)成。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，合成人臉圖像集中至少部分合成人臉圖像存在圖像質(zhì)量問題，所述圖像質(zhì)量問題包括重影、唇部區(qū)域皮膚紋理不一致、唇部在人臉面部的位置不協(xié)調(diào)、唇部動作與面部肌肉不協(xié)調(diào)和同一環(huán)境不同合成人臉圖像的面部光照不一致或者其組合。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，源人臉圖像沒有合成人臉圖像的圖像質(zhì)量問題或者源人臉圖像的圖像質(zhì)量問題比合成人臉圖像的圖像質(zhì)量問題更輕。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述合成人臉圖像集中的每一張合成人臉圖像均在所述源人臉圖像集中對應(yīng)一張源人臉圖像，該源人臉圖像是生成該合成人臉圖像的基礎(chǔ)。

6.根據(jù)權(quán)利要求2-5之一所述的方法，其特征在于，語音驅(qū)動人臉唇形技術(shù)包括Wav2Lip、PCAVS或者Live?Speech?Portraits中的技術(shù)。

7.根據(jù)權(quán)利要求1-5之一所述的方法，其特征在于，第一自編碼器和第二自編碼器均為神經(jīng)網(wǎng)絡(luò)模型且結(jié)構(gòu)相同，所述神經(jīng)網(wǎng)絡(luò)模型包括SAE模型或者SAEHD模型。

8.一種修復(fù)合成圖像方法，其特征在于，包括：

獲取合成圖像中目標(biāo)人物的合成人臉圖像；

將目標(biāo)人物的合成人臉圖像輸入權(quán)利要求1-7之一所述的合成人臉修復(fù)模型的構(gòu)建方法構(gòu)建的合成人臉修復(fù)模型，得到經(jīng)修復(fù)的合成人臉圖像；

利用經(jīng)修復(fù)的合成人臉圖像替換合成圖像中目標(biāo)人物的合成人臉圖像。

9.一種基于換臉的合成人臉修復(fù)方法，其特征在于，包括：

獲取目標(biāo)人物正常說出第一內(nèi)容時錄制的源視頻以及由語音驅(qū)動人臉唇形技術(shù)基于所述源視頻合成的目標(biāo)人物說出第二內(nèi)容時的合成視頻；

獲取包括源視頻中目標(biāo)人物的人臉圖像的源人臉圖像集，以及獲取包括合成視頻中目標(biāo)人物的合成人臉圖像的合成人臉圖像集；

獲取基于所述源人臉圖像集和所述合成人臉圖像集根據(jù)權(quán)利要求1-7之一所述的合成人臉修復(fù)模型的構(gòu)建方法構(gòu)建的合成人臉修復(fù)模型；

將合成視頻的各個視頻幀的合成人臉圖像分別輸入到合成人臉修復(fù)模型，得到各個視頻幀的經(jīng)修復(fù)的合成人臉圖像并用于替換合成視頻中對應(yīng)的合成人臉圖像。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，其上存儲有計算機(jī)程序，所述計算機(jī)程序可被處理器執(zhí)行以實(shí)現(xiàn)權(quán)利要求1至9中任一項(xiàng)所述方法的步驟。

11.一種電子設(shè)備，其特征在于，包括：

一個或多個處理器；以及

存儲器，其中存儲器用于存儲可執(zhí)行指令；

所述一個或多個處理器被配置為經(jīng)由執(zhí)行所述可執(zhí)行指令以實(shí)現(xiàn)權(quán)利要求1至9中任一項(xiàng)所述方法的步驟。