[發明專利]用于生成圖像的方法和裝置

有效

• 申請號: 201910797619.2
• 申請日: 2019-08-27
• 公開（公告）號: CN110516598B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 胡天舒;張世昌;洪智濱;韓鈞宇;劉經拓
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06F16/583;G06V40/16;G06V10/75;G06V10/74;G06K9/62
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開的實施例公開了用于生成圖像的方法和裝置。該方法的一具體實施方式包括：獲取底版圖像和目標人臉圖像，其中，該底版圖像包括待替換人臉圖像和背景；從與該待替換人臉圖像匹配的預設人臉圖像庫中確定匹配人臉圖像，其中，該匹配的預設人臉圖像庫中包括該待替換人臉圖像所指示的人臉的不同面部姿態的人臉圖像，該匹配人臉圖像用于表征待替換人臉圖像所顯示的面部姿態與該目標人臉圖像所顯示的面部姿態一致；基于該匹配人臉圖像對該待替換人臉圖像的替換，生成目標圖像，其中，該目標圖像包括與該匹配人臉圖像相一致的人臉圖像和與該底版圖像相一致的背景。該實施方式提升了生成與目標人臉圖像的面部姿態相一致的圖像的速度。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及用于生成圖像的方法和裝置。

背景技術

隨著人工智能技術的飛速發展，短視頻、視頻直播類等應用中逐漸增加了與人臉相關的交互功能，從而可以通過用戶的面部表情變化驅動預設的人臉模板(例如卡通形象)產生近似的表情。

相關的方式通常是通過檢測人臉關鍵點的變化來對預設的人臉模板進行形變，從而在人臉模板上生成與用戶人臉面部姿態一致的表情、嘴型等等。

發明內容

本公開的實施例提出了用于生成圖像的方法和裝置。

第一方面，本公開的實施例提供了一種用于生成圖像的方法，該方法包括：獲取底版圖像和目標人臉圖像，其中，底版圖像包括待替換人臉圖像和背景；從與待替換人臉圖像匹配的預設人臉圖像庫中確定匹配人臉圖像，其中，匹配的預設人臉圖像庫中包括待替換人臉圖像所指示的人臉的不同面部姿態的人臉圖像，匹配人臉圖像用于表征待替換人臉圖像所顯示的面部姿態與目標人臉圖像所顯示的面部姿態一致；基于匹配人臉圖像對待替換人臉圖像的替換，生成目標圖像，其中，目標圖像包括與匹配人臉圖像相一致的人臉圖像和與底版圖像相一致的背景。

在一些實施例中，上述獲取底版圖像和目標人臉圖像，包括：獲取針對第一用戶拍攝的第一視頻和針對第二用戶拍攝的第二視頻；從第一視頻中提取包括第一用戶的人臉圖像的視頻幀作為底版圖像；從第二視頻中提取包括第二用戶的人臉圖像的視頻幀；從包括第二用戶的人臉圖像的視頻幀中提取第二用戶的人臉圖像作為目標人臉圖像；以及在上述基于匹配人臉圖像對待替換人臉圖像的替換，生成目標圖像之后，該方法還包括：基于目標圖像，生成目標視頻，其中，目標視頻中顯示的第二用戶的面部姿態與第一視頻中顯示的第一用戶的面部姿態相匹配。

在一些實施例中，上述預設人臉圖像庫通過如下步驟得到：獲取基準人臉圖像庫，其中，基準人臉圖像庫中包括顯示有基準人臉的不同面部姿態的圖像；將基準人臉圖像庫中的圖像輸入至預先訓練的圖像生成模型，生成匹配基準人臉圖像，其中，圖像生成模型包括編碼網絡、隱層網絡和解碼網絡，匹配基準人臉圖像所顯示的面部姿態與所輸入的圖像所顯示的面部姿態一致；基于匹配基準人臉圖像，生成預設人臉圖像庫。

在一些實施例中，上述隱層網絡包括第一隱層網絡和第二隱層網絡，圖像生成模型包括第一圖像生成子模型和第二圖像生成子模型，第一圖像生成子模型包括編碼網絡、第一隱層網絡、第二隱層網絡和解碼網絡，第二圖像生成子模型包括編碼網絡、解碼網絡和目標隱層網絡，目標隱層網絡為第一隱層網絡和第二隱層網絡之一。

在一些實施例中，上述圖像生成模型通過如下步驟訓練得到：獲取樣本基準人臉圖像集合和樣本人臉圖像集合，其中，樣本基準人臉圖像集合包括基準人臉圖像庫的子集；將樣本基準人臉圖像集合和樣本人臉圖像集合進行圖像預處理變換，生成樣本預處理基準人臉圖像集合和樣本預處理人臉圖像集合；將樣本預處理基準人臉圖像和樣本預處理人臉圖像分別作為第一圖像生成子模型和第二圖像生成子模型的輸入，將與輸入對應的樣本基準人臉圖像和樣本人臉圖像分別作為第一圖像生成子模型和第二圖像生成子模型的期望輸出，訓練得到圖像生成模型。