[發明專利]圖像生成方法、裝置、計算機可讀介質及電子設備

在審

• 申請號: 201910296009.4
• 申請日: 2019-04-12
• 公開（公告）號: CN111815756A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 張煒;梅濤
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 袁禮君;闞梓瑄

1.一種圖像生成方法，其特征在于，包括：

確定與第一圖像對應的第一語義圖像；

根據所述第一語義圖像和目標信息確定第二語義圖像；

根據所述第二語義圖像、所述目標信息以及所述第一圖像生成第二圖像。

2.根據權利要求1所述的方法，其特征在于，所述目標信息包括所述第二圖像中的姿態信息。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述第一語義圖像與所述第二語義圖像作為對應關系進行存儲。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

確定多個語義圖像組；其中，每個所述語義圖像組中包含至少兩個語義圖像；在所述語義圖像組內，每個所述語義圖像對應的姿態信息不同，每個所述語義圖像對應的語義信息相同；

根據多個所述語義圖像組訓練語義轉換模型。

5.根據權利要求4所述的方法，其特征在于，確定多個語義圖像組，包括：

確定每個圖像集中的圖像對應的語義圖像；

根據每個所述語義圖像對應的語義信息將多個所述語義圖像進行匹配，以確定出多個語義圖像組。

6.根據權利要求4所述的方法，其特征在于，根據多個所述語義圖像組訓練語義轉換模型，包括：

從多個所述語義圖像組中確定出目標語義圖像組；

通過語義轉換模型對目標姿態信息和第一目標語義圖像進行處理，以生成第三圖像；其中，所述目標語義圖像組包括所述第一目標語義圖像，所述目標姿態信息與所述目標語義圖像組中的第二目標語義圖像對應；

根據對所述第三圖像與所述第二目標語義圖像的比對，確定出第一損失函數對應的數值；

根據所述第一損失函數對應的數值更新所述語義轉換模型。

7.根據權利要求6所述的方法，其特征在于，根據所述第一語義圖像和目標信息確定第二語義圖像，包括：

通過更新后的所述語義轉換模型對所述第一語義圖像和目標信息進行處理，以確定出第二語義圖像。

8.根據權利要求5所述的方法，其特征在于，每個所述圖像集中包括所述圖像以及與所述圖像對應的待生成姿態信息，所述方法還包括：

根據所述語義轉換模型以及圖像生成模型對目標圖像集中目標圖像和所述目標圖像對應的待生成姿態信息進行處理，以生成第四圖像，所述第四圖像與所述目標圖像對應的待生成姿態信息對應；其中，多個所述圖像集中包括所述目標圖像集；

根據所述語義轉換模型以及所述圖像生成模型對所述第四圖像和所述目標圖像對應的姿態信息進行處理，以生成第五圖像，所述第五圖像與所述目標圖像的姿態信息對應；

根據對所述目標圖像以及所述第五圖像的比對，確定出第二損失函數對應的數值；

根據所述第二損失函數對應的數值更新所述語義轉換模型和所述圖像生成模型。

9.根據權利要求8所述的方法，其特征在于，根據所述第二語義圖像、所述目標信息以及所述第一圖像生成第二圖像，包括：

通過更新后的所述圖像生成模型對所述第二語義圖像、所述目標信息以及所述第一圖像進行處理，以生成第二圖像。

10.根據權利要求6所述的方法，其特征在于，所述第一損失函數中包括第一對抗損失項和交叉熵損失項。

11.根據權利要求8所述的方法，其特征在于，所述第二損失函數中包括第二對抗損失項、姿態損失項、內容一致性損失項、語義引導的風格損失項以及面部損失項。

12.一種圖像生成裝置，其特征在于，包括：

語義分解單元，用于確定與第一圖像對應的第一語義圖像；

語義轉換單元，用于根據所述第一語義圖像和目標信息確定第二語義圖像；

圖像生成單元，用于根據所述第二語義圖像、所述目標信息以及所述第一圖像生成第二圖像。