[發明專利]圖像生成方法、裝置、計算機可讀介質及電子設備

在審

• 申請號: 201910296009.4
• 申請日: 2019-04-12
• 公開（公告）號: CN111815756A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 張煒;梅濤
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 袁禮君;闞梓瑄

本公開提供了一種圖像生成方法、圖像生成裝置、計算機可讀介質及電子設備，涉及計算機技術領域。該方法包括：確定與第一圖像對應的第一語義圖像；根據第一語義圖像和目標信息確定第二語義圖像；根據第二語義圖像、目標信息以及第一圖像生成第二圖像。本公開中的圖像生成方法能夠一定程度上克服圖像生成效果不佳的問題，進而改善圖像的生成效果；以及，能夠通過語義轉換過程和圖像生成過程，簡化對輸入圖像(如，第一圖像)和輸出圖像(如，第二圖像)映射關系的建模，進而改善生成人物圖像時的人體結構重建效果。

技術領域

本公開涉及計算機技術領域，具體而言，涉及一種圖像生成方法、圖像生成裝置、計算機可讀介質及電子設備。

背景技術

目前，圖像生成技術在多媒體領域和計算機視覺領域的應用越來越廣泛，例如，圖像生成技術可以應用于圖像視頻編輯、藝術電影的制作以及零售商品的展示等。其中，在零售商品的展示(如，衣物展示，其中涉及衣物的展示模特)中，圖像生成技術可以應用于人物圖像生成(Person Image Generation)。人物圖像生成是根據當前人物圖像和需要生成的目標人物姿態，生成具有目標人物姿態的人物圖像。

具體地，對于人物圖像的生成，可以包括：根據圖像生成技術中的生成對抗網絡(Generative Adversarial Network,GAN)技術提取當前人物圖像中的特征點，并根據該特征點生成具有目標人物姿態的人物圖像。但是，通過這種人物圖像生成方法生成的人物圖像中的人物屬性(如，人物的衣物款式或人體形態結構)與原人物圖像(即，當前人物圖像)中的人物屬性容易存在較大的差異，進而會導致圖像生成效果不佳的問題。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開的目的在于提供一種圖像生成方法、圖像生成裝置、計算機可讀介質及電子設備，進而至少在一定程度上克服圖像生成效果不佳的問題，進而改善圖像的生成效果。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

本公開的第一方面提供了一種圖像生成方法，包括：確定與第一圖像對應的第一語義圖像；根據第一語義圖像和目標信息確定第二語義圖像；根據第二語義圖像、目標信息以及第一圖像生成第二圖像。

在本公開的一種示例性實施例中，目標信息包括第二圖像中的姿態信息。

在本公開的一種示例性實施例中，該圖像生成方法還包括：將第一語義圖像與第二語義圖像作為對應關系進行存儲。

在本公開的一種示例性實施例中，該圖像生成方法還包括：確定多個語義圖像組；其中，每個語義圖像組中包含至少兩個語義圖像；在語義圖像組內，每個語義圖像對應的姿態信息不同，每個語義圖像對應的語義信息相同；根據多個語義圖像組訓練語義轉換模型。

在本公開的一種示例性實施例中，確定多個語義圖像組，包括：確定每個圖像集中的圖像對應的語義圖像；根據每個語義圖像對應的語義信息將多個語義圖像進行匹配，以確定出多個語義圖像組。

在本公開的一種示例性實施例中，根據多個語義圖像組訓練語義轉換模型，包括：從多個語義圖像組中確定出目標語義圖像組；通過語義轉換模型對目標姿態信息和第一目標語義圖像進行處理，以生成第三圖像；其中，目標語義圖像組包括第一目標語義圖像，目標姿態信息與目標語義圖像組中的第二目標語義圖像對應；根據對第三圖像與第二目標語義圖像的比對，確定出第一損失函數對應的數值；根據第一損失函數對應的數值更新語義轉換模型。

在本公開的一種示例性實施例中，根據第一語義圖像和目標信息確定第二語義圖像，包括：通過更新后的語義轉換模型對第一語義圖像和目標信息進行處理，以確定出第二語義圖像。