[發明專利]基于手繪草圖的人體圖像生成方法及系統

在審

• 申請號: 202110190317.6
• 申請日: 2021-02-18
• 公開（公告）號: CN112862920A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 胡事民;吳現;王琛;張松海
• 申請（專利權）人: 清華大學
• 主分類號: G06T11/20
• 分類號: G06T11/20;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 陳新生

1.一種基于手繪草圖的人體圖像生成方法，其特征在于，包括：

獲取手繪人體草圖，并根據預設身體部件，對所述手繪人體草圖進行分割，得到分割后的手繪人體草圖；

對所述分割后的手繪人體草圖進行幾何形態改善處理，得到第一人體草圖和第一解析圖，所述第一解析圖為所述第一人體草圖對應的掩碼圖；

將所述第一人體草圖和所述第一解析圖輸入到訓練好的結構改善模型中，得到第二人體草圖和第二解析圖，所述第二解析圖為所述第二人體草圖對應的掩碼圖，其中，所述訓練好的結構改善模型是由標記有身體部件類型的樣本身體部件邊圖，對姿態估計網絡和空間變換網絡進行訓練得到的；

將所述第二人體草圖和所述第二解析圖輸入到訓練好的人體圖像合成模型中，得到人體合成圖像，所述訓練好的人體圖像合成模型是由經過空間變換的樣本身體部件邊圖，對GauGAN模型進行訓練得到的。

2.根據權利要求1所述的基于手繪草圖的人體圖像生成方法，其特征在于，在所述將所述第二人體草圖和所述第二解析圖輸入到訓練好的人體圖像合成模型中，得到人體合成圖像之后，所述方法還包括：

根據人體合成圖像和第二解析圖，對所述人體合成圖像中的臉部區域進行裁切，得到臉部圖像塊和對應的臉部掩碼；

將所述臉部圖像塊和所述臉部掩碼輸入到訓練好的人臉改善模型中，得到人臉區域的殘差圖像，所述訓練好的人臉改善網絡是由樣本臉部圖像塊和對應的樣本臉部掩碼，對神經網絡進行訓練得到的；

根據所述殘差圖像，對所述人體合成圖像的人臉區域進行優化，得到人臉區域優化后的人體合成圖像。

3.根據權利要求1所述的基于手繪草圖的人體圖像生成方法，其特征在于，所述對所述分割后的手繪人體草圖進行幾何形態改善處理，得到第一人體草圖和第一解析圖，包括：

將所述分割后的手繪人體草圖中每個身體部件草圖，輸入到對應的隱向量編碼器中，得到每個身體部件草圖的隱向量；

通過檢索和插值的方式，將每個隱向量投影到對應的潛在空間，得到每個身體部件草圖的投影向量；

將每個投影向量輸入到身體部件草圖解碼器中，得到幾何改善后的身體部件草圖；將每個投影向量輸入到分割解碼器中，得到身體部件掩碼圖；

將所有幾何改善后的身體部件草圖進行合并，得到第一人體草圖；將所有身體部件掩碼圖進行合并，得到第一解析圖。

4.根據權利要求1所述的基于手繪草圖的人體圖像生成方法，其特征在于，所述訓練好的結構改善模型通過以下步驟得到：

獲取樣本身體部件邊圖，并對每個樣本身體部件邊圖標記身體部件類型的標簽，構建得到第一訓練樣本集；

將所述第一訓練樣本集輸入到姿態估計網絡中進行訓練，得到每個樣本身體部件邊圖對應的樣本身體部件熱力圖，以及預訓練的姿態估計網絡，并根據樣本身體部件熱力圖構建得到第二訓練樣本集；

將所述第一訓練樣本集和所述第二訓練樣本輸入到空間變換網絡中進行訓練，得到預訓練的空間變換網絡；

根據所述預訓練的姿態估計網絡和所述預訓練的空間變換網絡，構建得到訓練好的結構改善模型。

5.根據權利要求1所述的基于手繪草圖的人體圖像生成方法，其特征在于，所述方法還包括：

將人像風格參照圖像輸入到訓練好的圖像風格編碼器中，得到人像風格特征向量，所述訓練好的圖像風格編碼器是由標記有人像風格標簽的樣本人體風格參照圖像，對神經網絡訓練得到的；

將所述人像風格特征向量、所述第二人體草圖和所述第二解析圖輸入到訓練好的人體圖像合成模型中，得到具有所述人像風格特征向量對應風格的人體合成圖像。

6.根據權利要求4所述的基于手繪草圖的人體圖像生成方法，其特征在于，所述空間變換網絡是由多個空間變換子網絡，通過級聯的方式構建得到的。

7.根據權利要求1所述的基于手繪草圖的人體圖像生成方法，其特征在于，所述預設身體部件包括頭發、人臉、上身衣著、下身衣著和四肢。