[發(fā)明專利]一種基于人臉三維重建和人臉對(duì)齊的人臉圖像變換方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811214776.8
• 申請(qǐng)日: 2018-10-18
• 公開(kāi)（公告）號(hào): CN109409274B
• 公開(kāi)（公告）日: 2020-09-04
• 發(fā)明（設(shè)計(jì)）人: 周曦;姚鵬飛
• 申請(qǐng)（專利權(quán)）人: 四川云從天府人工智能科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 尹麗云

一種基于人臉三維重建和人臉對(duì)齊的人臉圖像變換方法，采用以下步驟，步驟1：三維圖像采集裝置采集人臉三維圖像作為輸入圖像，將該輸入圖像傳送到處理模塊中；步驟2：人臉識(shí)別模塊提取所述輸入圖像的三維特征；所述輸入圖像的三維特征包括人臉特征點(diǎn)集的坐標(biāo)值；在標(biāo)準(zhǔn)人臉數(shù)據(jù)庫(kù)中保存有標(biāo)準(zhǔn)人臉對(duì)齊特征集，該人臉對(duì)齊特征集由人臉對(duì)齊特征點(diǎn)組成，每個(gè)人臉對(duì)齊特征點(diǎn)為人臉上對(duì)應(yīng)點(diǎn)的語(yǔ)義信息；步驟3：設(shè)置有參考圖片數(shù)據(jù)庫(kù)，處理模塊從參考圖片數(shù)據(jù)庫(kù)中提取一張參考圖片，傳送到人臉識(shí)別模塊中。基于人臉三維重建和人臉對(duì)齊的人臉圖像變換方法，能夠適應(yīng)各種姿態(tài)和表情，對(duì)傳統(tǒng)方法不能處理的大姿態(tài)和表情變化有效貼圖。該方法還能使用一個(gè)通用模型處理所有的人臉，克服GAN方法的缺點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種基于人臉三維重建和人臉對(duì)齊的人臉圖像變換方法。

背景技術(shù)

隨著人工智能潮流的興起，特別是深度學(xué)習(xí)技術(shù)在圖像領(lǐng)域的大規(guī)模研究和應(yīng)用，人臉三維結(jié)構(gòu)重建和人臉對(duì)齊取得了越來(lái)越好的效果，如近期提出的pr_net精度和速度均達(dá)到了實(shí)用的要求。

在娛樂(lè)和游戲領(lǐng)域，有很多將一張人臉變換到另一張圖像上，或者對(duì)人臉圖像進(jìn)行編輯的需求，比如微信朋友圈流行的合成古風(fēng)或民國(guó)照片，合成錄取通知書(shū)等；在藝術(shù)照后處理中，需要對(duì)人臉的表情進(jìn)行微調(diào)；在游戲或者動(dòng)畫(huà)制作中，需要將人臉貼合到模型或者演員的人臉對(duì)應(yīng)部位。

傳統(tǒng)的人臉貼合基于關(guān)鍵點(diǎn)，根據(jù)關(guān)鍵點(diǎn)做三角剖分，再對(duì)每一個(gè)三角形進(jìn)行變換貼圖。這種方式只能處理正臉，對(duì)于人臉有較大姿態(tài)角度的情況不適用。

隨著深度學(xué)習(xí)技術(shù)的興起，出現(xiàn)了一些基于GAN的人臉貼圖技術(shù)。如熱門的deepfake.基于GAN的技術(shù)能夠?qū)Ω鞣N姿態(tài)和表情的人臉進(jìn)行貼圖，在特定場(chǎng)景下能達(dá)到不錯(cuò)的效果。但基于GAN學(xué)習(xí)的不是貼圖的方式，而是學(xué)習(xí)的具體人臉的特征。這就要求針對(duì)每一個(gè)特定的人臉訓(xùn)練對(duì)應(yīng)的模型，而不能使用通用的模型，這在很多場(chǎng)景下難以實(shí)現(xiàn)。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于人臉三維重建和人臉對(duì)齊的人臉圖像變換方法，具體技術(shù)方案如下：

一種基于人臉三維重建和人臉對(duì)齊的人臉圖像變換方法，其特征在于：

采用以下步驟，

步驟1：三維圖像采集裝置采集人臉三維圖像作為輸入圖像，將該輸入圖像傳送到處理模塊中；

步驟2：人臉識(shí)別模塊提取所述輸入圖像的三維特征；

所述輸入圖像的三維特征包括人臉特征點(diǎn)集的坐標(biāo)值；

在標(biāo)準(zhǔn)人臉數(shù)據(jù)庫(kù)中保存有標(biāo)準(zhǔn)人臉對(duì)齊特征集，該人臉對(duì)齊特征集由人臉對(duì)齊特征點(diǎn)組成，每個(gè)人臉對(duì)齊特征點(diǎn)為人臉上對(duì)應(yīng)點(diǎn)的語(yǔ)義信息；

步驟3：設(shè)置有參考圖片數(shù)據(jù)庫(kù)，處理模塊從參考圖片數(shù)據(jù)庫(kù)中提取一張參考圖片，傳送到人臉識(shí)別模塊中；

人臉識(shí)別模塊提取該參考圖片的三維特征和人臉對(duì)齊特征集，將該參考圖片的三維特征和人臉對(duì)齊特征集保存在臨時(shí)數(shù)據(jù)庫(kù)中；

步驟4：處理模塊對(duì)所述輸入圖像進(jìn)行貼圖，將所述輸入圖片的紋理貼合到參考圖片的對(duì)應(yīng)位置；

具體為，處理模塊提取輸入圖片的三維特征獲取對(duì)應(yīng)位置的紋理；

根據(jù)輸入圖片的人臉對(duì)齊特征集，獲取到參考圖片的相對(duì)應(yīng)的三維坐標(biāo)點(diǎn)集；

步驟5：處理模塊將輸入圖片中獲取到的紋理，通過(guò)插值的方式，賦值到參考圖片的三維坐標(biāo)點(diǎn)集中對(duì)應(yīng)的坐標(biāo)。

步驟6：處理模塊將人臉圖片通過(guò)泊松融合到參考圖片中，替換掉參考圖片中的人臉。

進(jìn)一步地：所述步驟6為，處理模塊將人臉圖片通過(guò)阿爾法通道融合到參考圖片中。