[發明專利]圖像生成方法、裝置、設備及存儲介質

在審

• 申請號: 202111151607.6
• 申請日: 2021-09-29
• 公開（公告）號: CN113850212A
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 劉禮杰
• 申請（專利權）人: 北京字跳網絡技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 范坤坤

1.一種圖像生成方法，其特征在于，包括：

獲取包含目標人體的第一人體圖像及包含目標衣物的第一衣物圖像；

對所述第一人體圖像分別進行關鍵點提取、人像分割及人體部位分割，獲得關鍵點特征圖、人像分割圖及人體部位分割圖；

將所述關鍵點特征圖、所述人像分割圖、所述人體部位分割圖及所述第一衣物圖像輸入形變模型中，獲得變形后的第二衣物圖像；

將所述第二衣物圖像、所述第一人體圖像、所述關鍵點特征圖、所述人像分割圖及所述人體部位分割圖輸入混合模型，獲得第二人體圖像；其中，所述第二人體圖像中的所述目標人體穿戴所述目標衣物。

2.根據權利要求1所述的方法，其特征在于，對所述第一人體圖像分別進行關鍵點提取、人像分割及人體部位分割，獲得關鍵點特征圖、人像分割圖及人體部位分割圖，包括：

將所述第一人體圖像分別輸入關鍵點提取模型、人像分割模型及人體部位分割模型，獲得關鍵點特征圖、人像分割圖及人體部位分割圖。

3.根據權利要求1所述的方法，其特征在于，將所述關鍵點特征圖、所述人像分割圖、所述人體部位分割圖及所述第一衣物圖像輸入形變模型中，獲得變形后的第二衣物圖像，包括：

所述形變模型根據所述關鍵點特征圖對所述第一衣物圖像進行姿態調整；

根據所述人體分割圖對姿態調整后的衣物圖像進行尺寸調整；

根據所述人體部位分割圖中的衣物區域對尺寸調整后的衣物圖像進行裁剪，獲得變形后的第二衣物圖像。

4.根據權利要求1所述的方法，其特征在于，將所述第二衣物圖像、所述第一人體圖像、所述關鍵點特征圖、所述人像分割圖及所述人體部位分割圖輸入混合模型，獲得第二人體圖像，包括：

所述混合模型將所述第二衣服圖像和所述第一人體圖像進行融合，獲得初始圖像；

根據所述關鍵點特征圖對所述初始圖像中的衣物姿態進行優化，根據所述人像分割圖對所述初始圖像中的衣物尺寸進行優化，根據所述述人體部位分割圖對所述初始圖像中的衣物進行優化裁剪，獲得第二人體圖像。

5.根據權利要求1所述的方法，其特征在于，在對所述第一人體圖像分別進行關鍵點提取之后，人像分割之前，還包括：

獲取基準關鍵點分布信息；

基于所述基準關鍵點分布信息對所述第一人體圖像的關鍵點進行調整，獲得調整后的第一人體圖像。

6.根據權利要求5所述的方法，其特征在于，對所述第一人體圖像分別進行人像分割及人體部位分割，包括：

對調整后的第一人體圖像分別進行人像分割及人體部位分割。

7.根據權利要求1所述的方法，其特征在于，所述形變模型的訓練方式為：

獲取人體樣本圖像及衣物樣本圖像；其中，所述人體樣本圖像中的人體穿戴所述衣物樣本圖像中的衣物；

對所述人體樣本圖像分別進行關鍵點提取、人像分割及人體部位分割，獲得關鍵點特征樣本圖、人像分割樣本圖及人體部位分割樣本圖；

將所述關鍵點特征樣本圖、所述人像分割樣本圖、所述人體部位分割樣本圖及所述衣物樣本圖像輸入初始模型中，獲得第一變形衣物圖；

根據所述第一變形衣物圖及所述人體樣本圖像計算損失函數；

根據所述損失函數訓練所述初始模型，獲得形變模型。

8.根據權利要求7所述的方法，其特征在于，混合模型的訓練方式為：

將所述關鍵點特征樣本圖、所述人像分割樣本圖、所述人體部位分割樣本圖及所述衣物樣本圖像輸入形變模型，獲得第二變形衣物圖；

將所述第二變形衣物圖、所述人體樣本圖像、所述關鍵點特征樣本圖、所述人像分割樣本圖、人體部位分割樣本圖及所述衣物樣本圖像輸入生成模型，獲得生成人體圖像；

將所述生成人體圖像輸入判別模型，獲得判別結果；

根據所述判別結果對所述生成模型進行訓練，獲得混合模型。

9.根據權利要求1-8任一所述的方法，其特征在于，所述衣物圖像為衣物平鋪圖。