[發明專利]用于由原圖像生成新的人物圖像的方法及裝置

在審

• 申請號: 202011120140.4
• 申請日: 2020-10-19
• 公開（公告）號: CN112232227A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 支蓉;王寶鋒;方志杰;張武強
• 申請（專利權）人: 戴姆勒股份公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06T7/11;G06T7/194;G06T3/00;G06T3/40;G06N3/04
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 慕弦

本發明涉及人工智能領域。具體涉及一種用于由原圖像生成新的人物圖像的方法，該方法至少包括以下步驟：提供包含人物的第一原圖像；識別第一原圖像中的人物的至少一個姿態關鍵點；基于姿態關鍵點從第一原圖像截取多個前景圖像區塊和多個背景圖像區塊；從前景圖像區塊和背景圖像區塊提取第一特征向量；獲取包含人物姿態信息的第二特征向量；和由第一特征向量和第二特征向量合成新的人物圖像。方法還包括：將包含人物的第一原圖像和第二原圖像輸入給經訓練的神經網絡模型以合成新的人物圖像，所述新的人物圖像具有第一原圖像中的背景和人物外觀以及第二原圖像中的人物姿態。還涉及一種用于由原圖像生成新的人物圖像的裝置。

技術領域

本發明涉及一種用于由原圖像生成新的人物圖像的方法。本發明還涉及一種用于由原圖像生成新的人物圖像的裝置。

背景技術

近年來，機器學習和深度學習逐漸成為計算機視覺和自動駕駛等領域被廣泛使用的算法。機器學習模型的性能不光取決于模型構建的質量，而且也會受到訓練數據的質量和數量的要求。對訓練數據的研究分析與數據增強是近年來的重要的研究課題之一。在現有的數據增強方法中，生成式網絡可以根據訓練數據集生成新的圖像數據，是數據增強方法中唯一可以生成訓練集以外的其它新數據的方法。

現有的生成式網絡如變分自編碼器(Variational Autoencoder，簡稱VAE)、生成式對抗網絡(Generative Adversarial Networks，簡稱GAN)等盡管可以基于具有有限數量的訓練樣本的訓練數據集生成新樣本，但是所生成的新樣本的質量往往不足以用做機器學習和深度學習的訓練樣本，且生成的過程多為隨機過程，生成的目標圖像樣式不可控或可控性極低。

當利用現有的生成式網絡生成人物圖像時，生成的圖像存在不真實、前景與背景脫離等問題，因而無法用作機器學習和深度學習的訓練樣本，其原因在于現有的生成式網絡不具有能控制如人物姿態、前景(即外觀)、背景等多種參數的可控模型。

此外，在影音娛樂領域，例如在影視制作和電子游戲制作行業中，存在人物“姿態遷移”的需求，也即將圖像A中的人物姿態變換成圖像B中的人物的姿態而不改變圖像A中的人物的前景和背景。但是，現有的生成式網絡難以實現真實且自然的“姿態遷移”。

因此，期待提供一種能實現人物圖像中的姿態、前景和背景的可控化并能生成姿態、前景及背景三者良好地融合的人物圖像生成方法。

發明內容

本發明的目的通過提供一種用于由原圖像生成新的人物圖像的方法來實現，所述方法至少包括以下步驟：

i)提供包含人物的第一原圖像；

ii)識別第一原圖像中的人物的至少一個姿態關鍵點；

iii)基于所述至少一個姿態關鍵點從第一原圖像截取多個前景圖像區塊和多個背景圖像區塊；

iv)從所述多個前景圖像區塊和所述多個背景圖像區塊提取至少一個第一特征向量；

v)獲取包含人物姿態信息的至少一個第二特征向量；以及

vi)由步驟iv)中提取的所述至少一個第一特征向量和步驟v)中獲取的所述至少一個第二特征向量合成新的人物圖像。

根據本發明的一可選實施例，所述多個前景圖像區塊共同覆蓋完整人體且每個前景圖像區塊分別包括不同的人體部分。

根據本發明的一可選實施例，采用以下方式從第一原圖像截取所述多個背景圖像區塊：由所述至少一個姿態關鍵點確定包含完整人物的多邊形輪廓，進而將第一原圖像中的位于所述多邊形輪廓之外的區域劃分成多個背景圖像區塊。

根據本發明的一可選實施例，通過以下方式執行步驟iv)：

-將所述多個前景圖像區塊和所述多個背景圖像區塊全部正規化成相同大小；以及