[發(fā)明專利]用于生成圖像的方法和裝置

有效

• 申請?zhí)枺?/td>: 202010112247.8
• 申請日: 2020-02-24
• 公開（公告）號: CN111340865B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設計）人: 謝檸蔚;陳睿智
• 申請（專利權）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T17/20;G06N3/0475;G06N3/08
• 代理公司: 北京英賽嘉華知識產(chǎn)權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開實施例公開了用于生成圖像的方法和裝置。該方法的一具體實施方式包括：獲取針對目標人臉從至少兩個角度分別拍攝的圖像；對所獲取的圖像進行風格遷移，得到該目標人臉的二維線描圖；將各個該二維線描圖進行融合，并生成與融合結(jié)果對應的線描展開圖；基于該線描展開圖和預設三維人臉模型，生成該目標人臉的三維線描圖。本公開的實施例提供的方案可以生成三維線描圖，采用線描的風格豐富了三維人臉圖像的呈現(xiàn)方式。

技術領域

本公開實施例涉及計算機技術領域，具體涉及用于生成圖像的方法和裝置。

背景技術

隨著終端的普及，越來越多的用戶開始使用手機等終端進行通話以外的各種操作。比如，用戶可以使用這些終端觀看視頻。手機等便攜式終端可以讓用戶隨時隨地觀看到視頻，促進了直播平臺和短視頻平臺的發(fā)展。用戶可以自己錄制視頻上傳到這些平臺上，供觀眾觀看。

在自拍、直播等的場景中，用戶可以在畫面中對自己的形象進行多種操作，從而提高畫面的趣味性。例如，用戶可以對臉部添加特效比如貼紙。

發(fā)明內(nèi)容

本公開實施例提出了用于生成圖像的方法和裝置。

第一方面，本公開實施例提供了一種用于生成圖像的方法，該方法包括：獲取針對目標人臉從至少兩個角度分別拍攝的圖像；對所獲取的圖像進行風格遷移，得到目標人臉的二維線描圖；將各個二維線描圖進行融合，并生成與融合結(jié)果對應的線描展開圖；基于線描展開圖和預設三維人臉模型，生成目標人臉的三維線描圖。

在一些實施例中，對所獲取的圖像進行風格遷移，得到目標人臉的二維線描圖，包括：將所獲取的圖像輸入預先訓練的生成對抗網(wǎng)絡，得到從生成對抗網(wǎng)絡輸出的、目標人臉的二維線描圖。

在一些實施例中，生成對抗網(wǎng)絡包括生成器，生成器包括預設數(shù)量的子生成器，對于包含人臉的圖像中的每個預設局部，存在用于處理該預設局部的子生成器；將所獲取的圖像輸入預先訓練的生成對抗網(wǎng)絡，得到從生成對抗網(wǎng)絡輸出的、目標人臉的二維線描圖，包括：對所獲取的圖像進行分割，得到所獲取的圖像中預設數(shù)量的預設局部；對于每個所得到的預設局部，將該預設局部輸入到用于處理該預設局部的子生成器中，得到該預設局部對應的局部二維線描圖，其中，在生成對抗網(wǎng)絡的訓練過程中，每個子生成器學習該子生成器對應的預設局部的特征；對所得到的各個局部二維線描圖進行融合，生成從生成對抗網(wǎng)絡輸出的、目標人臉的二維線描圖。

在一些實施例中，生成對抗網(wǎng)絡包括生成器和判別器；生成對抗網(wǎng)絡通過以下方式訓練得到：將訓練樣本中的人臉圖像輸入生成器，得到從生成器輸出的、人臉圖像對應的二維線描圖，其中，訓練樣本還包括人臉圖像對應的參考二維線描圖；將輸出的二維線描圖和參考二維線描圖輸入判別器，利用判別器，判斷輸出的二維線描圖和參考二維線描圖是否為同類圖像；若判斷輸出的二維線描圖和參考二維線描圖不為同類圖像，則基于輸出的二維線描圖和參考二維線描圖訓練生成器；若判斷輸出的二維線描圖和參考二維線描圖為同類圖像，則將當前的生成對抗網(wǎng)絡作為訓練后的生成對抗網(wǎng)絡。

在一些實施例中，基于線描展開圖和預設三維人臉模型，生成目標人臉的三維線描圖，包括：在線描展開圖中，確定出包含預設五官的局部線描展開圖；基于局部線描展開圖和預設三維人臉模型，生成目標人臉的三維線描圖。

在一些實施例中，基于局部線描展開圖和預設三維人臉模型，生成目標人臉的三維線描圖，包括：將局部線描展開圖的底色更新為預設顏色，其中，局部線描展開圖的底色與預設顏色不同；將更新后的局部線描展開圖與預設三維人臉模型結(jié)合，得到目標人臉的三維線描圖。

第二方面，本公開實施例提供了一種用于生成圖像的裝置，裝置包括：獲取單元，被配置成獲取針對目標人臉從至少兩個角度分別拍攝的圖像；風格遷移單元，被配置成對所獲取的圖像進行風格遷移，得到目標人臉的二維線描圖；第一生成單元，被配置成將各個二維線描圖進行融合，并生成與融合結(jié)果對應的線描展開圖；第二生成單元，被配置成基于線描展開圖和預設三維人臉模型，生成目標人臉的三維線描圖。