[發明專利]用于由原始人物圖像生成新的人物圖像的方法及裝置

在審

• 申請號: 202011120139.1
• 申請日: 2020-10-19
• 公開（公告）號: CN112241708A
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 王寶鋒;張武強;方志杰;郭子杰
• 申請（專利權）人: 戴姆勒股份公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T7/194;G06T3/00;G06T5/30;G06N3/04
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 慕弦

本發明涉及人工智能領域。具體涉及一種用于由原始人物圖像生成新的人物圖像的方法，包括：提供第一原始人物圖像；獲取第一原始人物圖像的姿態關鍵點；將第一原始人物圖像分割成前景圖像和背景圖像；將前景圖像及姿態關鍵點數據輸入前景特征提取模型以提取外觀特征向量和姿態特征向量，將背景圖像輸入背景特征提取模型以提取背景特征向量；和將外觀特征向量、姿態特征向量和背景特征向量輸入合成模型以合成重建圖像。方法還包括：將第一和第二原始人物圖像輸入給經訓練的神經網絡模型以合成新人物圖像，新的人物圖像具有第一原始人物圖像中的人物外觀及第二原始人物圖像中的背景和人物姿態。還涉及一種用于由原始人物圖像生成新的人物圖像的裝置。

技術領域

本發明涉及一種用于由原始人物圖像生成新的人物圖像的方法。本發明還涉及一種用于由原始人物圖像生成新的人物圖像的裝置。

背景技術

近年來，隨著深度學習與神經網絡等人工智能的發展，以對抗式生成網絡(Generative Adavsiral Network,GAN)、變分自編碼(Variational Autoencoder,VAE)為代表的生成式模型取得了長足的進步，并廣泛應用于圖像、語音等數據的生成。

在圖像生成領域中，人物圖像生成方法也正成為研究的熱點。然而，目前的人物生成式網絡/算法通常將包含人物的圖像以矩形塊(bounding box或patch)的形式裁剪出來，然后輸入到網絡中進行訓練，且在訓練中往往只關注于前景(即人物)圖像區域的恢復和重建能力，而忽略了對背景圖像的重建。由于沒有對背景和前景解耦，這種方法一方面背景重建能力較差，生成的圖像背景較為模糊，無法辨識具體場景；另一方面由于網絡算力被背景像素分散，前景圖像的復原能力尤其是細節等高頻信息也無法達到最佳。此外，由于數據輸入形式無法對背景進行有效控制，因此基于這種方法的生成圖像往往只能局限于人物尺寸大小，且前景背景的語義一致性不佳，無法生成具有全場景信息的圖像，嚴重限制了生成式模型的應用場景的泛化能力。

此外，在影音娛樂領域，例如在影視制作和電子游戲制作行業中，存在人物“外觀遷移”的需求，也即將圖像A中的人物外觀變換成圖像B中的人物的外觀而不改變圖像A中的人物姿態和背景。但是，現有的生成式網絡難以實現真實且自然的“外觀遷移”。

因此，期待提供一種能實現人物圖像中的姿態、前景和背景的可控化并能生成姿態、前景及背景三者良好地融合的人物圖像生成方法。

發明內容

本發明的目的通過提供一種用于由原始人物圖像生成新的人物圖像的方法來實現，所述方法至少包括以下步驟：

i)提供第一原始人物圖像；

ii)獲取第一原始人物圖像中的人物的姿態關鍵點數據；

iii)將第一原始人物圖像分割成前景圖像和背景圖像；

iv)將前景圖像及所述姿態關鍵點數據輸入前景特征向量提取模型以提取人物外觀特征向量和人物姿態關鍵點特征向量將背景圖像輸入背景特征向量提取模型以提取背景特征向量以及

v)將人物外觀特征向量人物姿態關鍵點特征向量和背景特征向量輸入圖像合成模型以合成第一原始人物圖像的重建圖像。

根據本發明的另一方面，本發明的目的還通過一種用于由原始人物圖像生成新的人物圖像的方法來實現，所述方法至少包括以下步驟：

i’)提供第一原始人物圖像和不同于第一原始人物圖像的第二原始人物圖像；

ii’)獲取第一原始人物圖像和第二原始人物圖像中各自的人物的姿態關鍵點數據；

iii’)將第一原始人物圖像和第二原始人物圖像分別分割成前景圖像和背景圖像；