[發(fā)明專利]表情遷移方法、圖像生成器的訓(xùn)練方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202010020193.2
• 申請日: 2020-01-08
• 公開（公告）號: CN111275779B
• 公開（公告）日: 2022-12-16
• 發(fā)明（設(shè)計）人: 姚光明;袁燚;范長杰;胡志鵬
• 申請（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T3/00;G06V40/16
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 王文紅

1.一種表情遷移方法，其特征在于，所述方法應(yīng)用于配置有圖像生成器的設(shè)備，所述圖像生成器通過身份判別器和表情判別器訓(xùn)練得到；其中，所述身份判別器通過判別原始圖像樣本和所述原始圖像樣本對應(yīng)的重構(gòu)圖像為同一身份的似然度訓(xùn)練所述圖像生成器，所述表情判別器通過判別所述重構(gòu)圖像和所述重構(gòu)圖像對應(yīng)的目標(biāo)人臉關(guān)鍵點匹配的似然度訓(xùn)練所述圖像生成器；

其中，訓(xùn)練所述身份判別器的過程包括：獲取與所述原始圖像樣本為同一身份的多個子圖像樣本；將所述原始圖像樣本和多個所述子圖像樣本輸入至所述身份判別器的初始身份判別模型，對所述初始身份判別模型進行訓(xùn)練，以生成所述身份判別器；

訓(xùn)練所述表情判別器的過程包括：獲取所述原始圖像樣本和所述原始圖像樣本對應(yīng)的人臉關(guān)鍵點；將所述原始圖像樣本和所述原始圖像樣本對應(yīng)的人臉關(guān)鍵點輸入至所述表情判別器的初始表情判別模型，對所述初始表情判別模型進行訓(xùn)練，以生成所述表情判別器；

所述方法包括：

獲取第一人臉圖像、所述第一人臉圖像的關(guān)鍵點對應(yīng)的第一關(guān)鍵點信息和第二人臉圖像的關(guān)鍵點對應(yīng)的第二關(guān)鍵點信息；其中，所述關(guān)鍵點指的是人臉面部的關(guān)鍵區(qū)域位置，用于表征人臉圖像中的面部表情特征；

將所述第一人臉圖像、所述第一關(guān)鍵點信息和所述第二關(guān)鍵點信息輸入所述圖像生成器進行表情重構(gòu)，得到所述第一人臉圖像的表情遷移圖像，所述表情遷移圖像的表情與所述第二人臉圖像的表情匹配，且，所述表情遷移圖像中的人臉圖像具有與所述第一人臉圖像的身份，以及所述第二人臉圖像的表情，實現(xiàn)表情遷移。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取第一人臉圖像、所述第一人臉圖像的關(guān)鍵點對應(yīng)第一關(guān)鍵點信息和第二人臉圖像的關(guān)鍵點對應(yīng)的第二關(guān)鍵點信息之前，所述方法還包括：

獲取預(yù)先存儲的基準臉圖像中的基準關(guān)鍵點信息；

根據(jù)所述基準關(guān)鍵點信息對所述第一人臉圖像和所述第二人臉圖像進行圖像對齊處理。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取所述第一人臉圖像的關(guān)鍵點對應(yīng)的第一關(guān)鍵點信息和第二人臉圖像的關(guān)鍵點對應(yīng)的第二關(guān)鍵點信息的步驟包括：

對所述第一人臉圖像的關(guān)鍵點進行提取，生成包含所述第一人臉圖像的關(guān)鍵點的第一關(guān)鍵點熱力圖，將所述第一關(guān)鍵點熱力圖確定為所述第一關(guān)鍵點信息；以及，

對所述第二人臉圖像的關(guān)鍵點進行提取，生成包含所述第二人臉圖像的關(guān)鍵點的第二關(guān)鍵點熱力圖，將所述第二關(guān)鍵點熱力圖確定為所述第二關(guān)鍵點信息。

4.一種圖像生成器的訓(xùn)練方法，其特征在于，所述方法包括：

將原始圖像樣本、所述原始圖像樣本對應(yīng)的人臉關(guān)鍵點和目標(biāo)人臉關(guān)鍵點輸入圖像生成器，得到所述原始圖像樣本對應(yīng)的重構(gòu)圖像；其中，所述關(guān)鍵點指的是人臉面部的關(guān)鍵區(qū)域位置，用于表征人臉圖像中的面部表情特征；

通過身份判別器判別所述原始圖像樣本和所述重構(gòu)圖像為同一身份的似然度訓(xùn)練所述圖像生成器，通過表情判別器判別所述重構(gòu)圖像和所述目標(biāo)人臉關(guān)鍵點匹配的似然度訓(xùn)練所述圖像生成器；

將訓(xùn)練完成的圖像生成器保存為表情遷移操作的應(yīng)用模型；

其中，訓(xùn)練所述身份判別器的過程包括：獲取與所述原始圖像樣本為同一身份的多個子圖像樣本；將所述原始圖像樣本和多個所述子圖像樣本輸入至所述身份判別器的初始身份判別模型，對所述初始身份判別模型進行訓(xùn)練，以生成所述身份判別器；

訓(xùn)練所述表情判別器的過程包括：獲取所述原始圖像樣本和所述原始圖像樣本對應(yīng)的人臉關(guān)鍵點；將所述原始圖像樣本和所述原始圖像樣本對應(yīng)的人臉關(guān)鍵點輸入至所述表情判別器的初始表情判別模型，對所述初始表情判別模型進行訓(xùn)練，以生成所述表情判別器。