[發明專利]用于生成圖像的方法和裝置

有效

• 申請號: 201910798510.0
• 申請日: 2019-08-27
• 公開（公告）號: CN110503703B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 胡天舒;康洋;洪智濱;韓鈞宇;劉經拓
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06V40/16;G06V10/82;G06V10/75;G06N3/0455
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開的實施例公開了用于生成圖像的方法和裝置。該方法的一具體實施方式包括：獲取底版圖像和目標人臉圖像，其中，該底版圖像包括待替換人臉圖像和背景；將該目標人臉圖像輸入至預先訓練的圖像生成模型，生成匹配人臉圖像，其中，該圖像生成模型包括編碼網絡、隱層網絡和解碼網絡，該匹配人臉圖像用于表征待替換人臉圖像所顯示的面部姿態與該目標人臉圖像所顯示的面部姿態一致；基于該匹配人臉圖像對該待替換人臉圖像的替換，生成準目標圖像；基于對該準目標圖像的融合處理，生成目標圖像，其中，該目標圖像包括與該匹配人臉圖像相一致的人臉圖像和與該底版圖像相一致的背景。該實施方式實現了面部表情的精確傳遞，提升了人臉圖像生成的自然度。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及用于生成圖像的方法和裝置。

背景技術

隨著人工智能技術的飛速發展，與人臉相關的視頻交互類應用(APP，Application)越來越多。例如人臉美妝(增加眼影、腮紅、嘴唇、假睫毛等)、人臉的精準塑形(修改人臉全部或者局部五官的位置、形狀)、人臉相關的2D/3D貼紙道具、人臉特定表情觸發對應的視頻動畫特效、視頻內的人臉換臉等等。

相關的方式通常是通過對人臉關鍵點的控制來對預先設定的人臉模版進行調整，從而在人臉模板上生成與用戶人臉面部姿態一致的表情、嘴型等等。

發明內容

本公開的實施例提出了用于生成圖像的方法和裝置。

第一方面，本公開的實施例提供了一種用于生成圖像的方法，該方法包括：獲取底版圖像和目標人臉圖像，其中，底版圖像包括待替換人臉圖像和背景；將目標人臉圖像輸入至預先訓練的圖像生成模型，生成匹配人臉圖像，其中，圖像生成模型包括編碼網絡、隱層網絡和解碼網絡，匹配人臉圖像用于表征待替換人臉圖像所顯示的面部姿態與目標人臉圖像所顯示的面部姿態一致；基于匹配人臉圖像對待替換人臉圖像的替換，生成準目標圖像；基于對準目標圖像的融合處理，生成目標圖像，其中，目標圖像包括與匹配人臉圖像相一致的人臉圖像和與底版圖像相一致的背景。

在一些實施例中，上述隱層網絡包括第一隱層網絡和第二隱層網絡，圖像生成模型包括第一圖像生成子模型和第二圖像生成子模型，第一圖像生成子模型包括編碼網絡、第一隱層網絡、第二隱層網絡和解碼網絡，第二圖像生成子模型包括編碼網絡、解碼網絡和目標隱層網絡，目標隱層網絡為第一隱層網絡和第二隱層網絡之一。

在一些實施例中，上述圖像生成模型通過如下步驟訓練得到：獲取樣本第一人臉圖像集合和樣本第二人臉圖像集合；將樣本第一人臉圖像集合和樣本第二人臉圖像集合進行圖像預處理變換，生成樣本第一預處理人臉圖像集合和樣本第二預處理人臉圖像集合；將樣本第一預處理人臉圖像和樣本第二預處理人臉圖像分別作為第一圖像生成子模型和第二圖像生成子模型的輸入，將與輸入對應的樣本第一人臉圖像和樣本第二人臉圖像分別作為第一圖像生成子模型和第二圖像生成子模型的期望輸出，訓練得到圖像生成模型。

在一些實施例中，上述基于匹配人臉圖像對待替換人臉圖像的替換，生成準目標圖像，包括：將匹配人臉圖像與待替換人臉圖像進行人臉對齊；基于對齊后的匹配人臉圖像和待替換人臉圖像進行三角剖分；根據三角剖分所劃分的三角形區域在對齊后的匹配人臉圖像和待替換人臉圖像中的對應關系進行替換，生成準目標圖像。

在一些實施例中，上述基于對準目標圖像的融合處理，生成目標圖像，包括：從準目標圖像中提取人臉圖像的輪廓；根據人臉圖像的輪廓，生成掩膜；根據掩膜和準目標圖像，生成人臉圖像的顏色分布信息；根據顏色分布信息對人臉圖像進行渲染，生成目標圖像。