[發明專利]一種基于換臉的合成人臉修復方法、介質和電子設備

在審

• 申請號: 202310208841.0
• 申請日: 2023-03-06
• 公開（公告）號: CN116523806A
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 曹娟;方凌飛;黃子堯;唐勝
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06T13/40;G06T13/20;G06N3/0455
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供了一種基于換臉的合成人臉修復方法、介質和電子設備，其中，合成人臉修復模型的構建方法包括：利用合成人臉圖像集訓練第一自編碼器進行人臉圖像重構，得到經訓練的第一自編碼器，其中，第一自編碼器包括編碼器和解碼器，合成人臉圖像集包括目標人物說話狀態的合成人臉圖像；利用源人臉圖像集訓練第二自編碼器進行人臉圖像重構，得到經訓練的第二自編碼器，其中，第二自編碼器包括編碼器和解碼器，源人臉圖像集包括目標人物正常說話狀態的人臉圖像；構建用于對人臉圖像進行修復的人臉修復模型，其由經訓練的第一自編碼器的編碼器以及經訓練的第二自編碼器的解碼器構成；以得到能夠對合成人臉進行高效、高質量修復的人臉修復模型。

技術領域

本發明涉及計算機視覺技術領域，具體來說涉及圖像修復領域，更具體地說，涉及一種基于換臉的合成人臉修復方法、介質和電子設備。

背景技術

人臉圖像修復是人臉合成、人臉美化等任務中的一個重要環節，當人臉圖像出現瑕疵(缺陷)時，通過對人臉圖像進行修復處理以去除或者降低瑕疵影響，從而提高人臉質量。現有的人臉圖像修復技術包括生成式對抗網絡(GAN)的人臉修復技術、基于U-Net網絡的人臉修復技術、人臉超分辨率重建技術等。現有的人臉圖像修復技術主要是對顏色效果不佳的人臉圖像進行顏色增強、對舊照片進行修復、根據模糊人臉圖像生成高清人臉圖像、根據缺損人臉圖像生成完整人臉圖像等。

經研究，目前現有的人臉圖像修復技術需要人工預先準備訓練數據，訓練數據通常包括有缺陷的人臉圖像(作為神經網絡的輸入)以及有缺陷的合成人臉圖像所對應的人臉圖像標簽(理想情況是對應的無缺陷的人臉圖像)作為訓練時校準神經網絡模型的真值，相當于需要準備有缺陷的圖像輸入樣本以及與之一一對應的無缺陷的真值；而這種訓練數據的準備需要耗費大量的人力成本、時間成本和經濟成本。

而且，申請人在從事人臉合成技術的相關研究時，發現現有人臉圖像修復技術沒有充分考慮合成人臉圖像場景下出現質量問題的合成人臉圖像的修復，導致對合成人臉圖像只能進行小幅度的人臉修復，如進行清晰度的調優、顏色的調整等。現在的合成人臉圖像往往存在圖像質量問題(如唇部區域皮膚紋理不一致、唇部在人臉面部的位置不協調等)，當合成人臉圖像出現圖像質量問題的時候，修復效果就非常的有限，應用現有的人臉圖像修復技術的效果不佳。

因此，有必要對現有技術進行改進。

發明內容

因此，本發明的目的在于克服上述現有技術的缺陷，提供一種基于換臉的合成人臉修復方法、介質和電子設備。

本發明的目的是通過以下技術方案實現的：

根據本發明的第一方面，提供一種合成人臉修復模型的構建方法，包括：利用合成人臉圖像集訓練第一自編碼器進行人臉圖像重構，得到經訓練的第一自編碼器，其中，第一自編碼器包括編碼器和解碼器，合成人臉圖像集包括目標人物說話狀態的合成人臉圖像；利用源人臉圖像集訓練第二自編碼器進行人臉圖像重構，得到經訓練的第二自編碼器，其中，第二自編碼器包括編碼器和解碼器，源人臉圖像集包括目標人物正常說話狀態的人臉圖像；構建用于對人臉圖像進行修復的人臉修復模型，其由經訓練的第一自編碼器的編碼器以及經訓練的第二自編碼器的解碼器構成。

在本發明的一些實施例中，源人臉圖像集是由目標人物正常說話狀態下錄制的源視頻中的多張源人臉圖像構成，所述合成人臉圖像集是由語音驅動人臉唇形技術基于所述源視頻合成的合成視頻中的多張合成人臉圖像構成。

在本發明的一些實施例中，合成人臉圖像集中至少部分合成人臉圖像存在圖像質量問題，所述圖像質量問題包括重影、唇部區域皮膚紋理不一致、唇部在人臉面部的位置不協調、唇部動作與面部肌肉不協調和同一環境不同合成人臉圖像的面部光照不一致或者其組合。

在本發明的一些實施例中，源人臉圖像沒有合成人臉圖像的圖像質量問題或者源人臉圖像的圖像質量問題比合成人臉圖像的圖像質量問題更輕。