[發(fā)明專利]用于生成圖像的方法和裝置

有效

• 申請?zhí)枺?/td>: 201910797619.2
• 申請日: 2019-08-27
• 公開（公告）號: CN110516598B
• 公開（公告）日: 2022-03-01
• 發(fā)明（設計）人: 胡天舒;張世昌;洪智濱;韓鈞宇;劉經(jīng)拓
• 申請（專利權）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06F16/583;G06V40/16;G06V10/75;G06V10/74;G06K9/62
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于生成圖像的方法，包括：

獲取底版圖像和目標人臉圖像，其中，所述底版圖像包括待替換人臉圖像和背景；

從與所述待替換人臉圖像匹配的預設人臉圖像庫中確定匹配人臉圖像，其中，所述匹配的預設人臉圖像庫中包括所述待替換人臉圖像所指示的人臉的不同面部姿態(tài)的人臉圖像，所述匹配人臉圖像用于表征待替換人臉圖像所顯示的面部姿態(tài)與所述目標人臉圖像所顯示的面部姿態(tài)一致；

基于所述匹配人臉圖像對所述待替換人臉圖像的替換，生成目標圖像，其中，所述目標圖像包括與所述匹配人臉圖像相一致的人臉圖像和與所述底版圖像相一致的背景。

2.根據(jù)權利要求1所述的方法，其中，所述獲取底版圖像和目標人臉圖像，包括：

獲取針對第一用戶拍攝的第一視頻和針對第二用戶拍攝的第二視頻；

從所述第一視頻中提取包括第一用戶的人臉圖像的視頻幀作為所述底版圖像；

從所述第二視頻中提取包括第二用戶的人臉圖像的視頻幀；

從所述包括第二用戶的人臉圖像的視頻幀中提取所述第二用戶的人臉圖像作為所述目標人臉圖像；以及

在所述基于所述匹配人臉圖像對所述待替換人臉圖像的替換，生成目標圖像之后，所述方法還包括：

基于所述目標圖像，生成目標視頻，其中，所述目標視頻中顯示的第二用戶的面部姿態(tài)與所述第一視頻中顯示的第一用戶的面部姿態(tài)相匹配。

3.根據(jù)權利要求1所述的方法，其中，所述預設人臉圖像庫通過如下步驟得到：

獲取基準人臉圖像庫，其中，所述基準人臉圖像庫中包括顯示有基準人臉的不同面部姿態(tài)的圖像；

將所述基準人臉圖像庫中的圖像輸入至預先訓練的圖像生成模型，生成匹配基準人臉圖像，其中，所述圖像生成模型包括編碼網(wǎng)絡、隱層網(wǎng)絡和解碼網(wǎng)絡，所述匹配基準人臉圖像所顯示的面部姿態(tài)與所輸入的圖像所顯示的面部姿態(tài)一致；

基于所述匹配基準人臉圖像，生成所述預設人臉圖像庫。

4.根據(jù)權利要求3所述的方法，其中，所述隱層網(wǎng)絡包括第一隱層網(wǎng)絡和第二隱層網(wǎng)絡，所述圖像生成模型包括第一圖像生成子模型和第二圖像生成子模型，所述第一圖像生成子模型包括所述編碼網(wǎng)絡、所述第一隱層網(wǎng)絡、所述第二隱層網(wǎng)絡和所述解碼網(wǎng)絡，所述第二圖像生成子模型包括所述編碼網(wǎng)絡、所述解碼網(wǎng)絡和目標隱層網(wǎng)絡，所述目標隱層網(wǎng)絡為所述第一隱層網(wǎng)絡和所述第二隱層網(wǎng)絡之一。

5.根據(jù)權利要求4所述的方法，其中，所述圖像生成模型通過如下步驟訓練得到：

獲取樣本基準人臉圖像集合和樣本人臉圖像集合，其中，所述樣本基準人臉圖像集合包括所述基準人臉圖像庫的子集；

將所述樣本基準人臉圖像集合和樣本人臉圖像集合進行圖像預處理變換，生成樣本預處理基準人臉圖像集合和樣本預處理人臉圖像集合；

將樣本預處理基準人臉圖像和樣本預處理人臉圖像分別作為所述第一圖像生成子模型和所述第二圖像生成子模型的輸入，將與輸入對應的樣本基準人臉圖像和樣本人臉圖像分別作為所述第一圖像生成子模型和所述第二圖像生成子模型的期望輸出，訓練得到所述圖像生成模型。

6.根據(jù)權利要求1-5之一所述的方法，其中，所述基于所述匹配人臉圖像對所述待替換人臉圖像的替換，生成目標圖像，包括：

將所述匹配人臉圖像與所述待替換人臉圖像進行人臉對齊；

基于對齊后的匹配人臉圖像和待替換人臉圖像進行三角剖分；

根據(jù)三角剖分所劃分的三角形區(qū)域在所述對齊后的匹配人臉圖像和待替換人臉圖像中的對應關系進行替換，生成準目標圖像；

從所述準目標圖像中提取人臉圖像的輪廓；

根據(jù)所述人臉圖像的輪廓，生成掩膜；

根據(jù)所述掩膜和所述準目標圖像，生成所述人臉圖像的顏色分布信息；

根據(jù)所述顏色分布信息對所述人臉圖像進行渲染，生成所述目標圖像。