[發(fā)明專(zhuān)利]基于手繪草圖的人體圖像生成方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110190317.6
• 申請(qǐng)日: 2021-02-18
• 公開(kāi)（公告）號(hào): CN112862920A
• 公開(kāi)（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 胡事民;吳現(xiàn);王琛;張松海
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): G06T11/20
• 分類(lèi)號(hào): G06T11/20;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 陳新生

本發(fā)明提供一種基于手繪草圖的人體圖像生成方法及系統(tǒng)，該方法包括：對(duì)手繪人體草圖進(jìn)行分割，得到分割后的手繪人體草圖；對(duì)分割后的手繪人體草圖進(jìn)行幾何形態(tài)改善處理，得到第一人體草圖和第一解析圖；將第一人體草圖和第一解析圖輸入到訓(xùn)練好的結(jié)構(gòu)改善模型中，得到第二人體草圖和第二解析圖，其中，訓(xùn)練好的結(jié)構(gòu)改善模型是由標(biāo)記有身體部件類(lèi)型的樣本身體部件邊圖，對(duì)姿態(tài)估計(jì)網(wǎng)絡(luò)和空間變換網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的；將第二人體草圖和第二解析圖輸入到訓(xùn)練好的人體圖像合成模型中，得到人體合成圖像。本發(fā)明能夠改善手繪人體草圖的局部幾何結(jié)構(gòu)和整體結(jié)構(gòu)，生成更符合真實(shí)人像的幾何形態(tài)和結(jié)構(gòu)比例的圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像合成技術(shù)領(lǐng)域，尤其涉及一種基于手繪草圖的人體圖像生成方法及系統(tǒng)。

背景技術(shù)

創(chuàng)作出一張自然合理的人體圖像，能夠在許多實(shí)際場(chǎng)景中得以運(yùn)用，例如，時(shí)尚設(shè)計(jì)、電影特效和教學(xué)訓(xùn)練等。通過(guò)草圖進(jìn)行繪制，是一種簡(jiǎn)單有效的人像生成方法，新手用戶對(duì)于這種只需紙筆的模式也非常熟悉。

在人體圖像合成領(lǐng)域，目前主要的研究者都聚焦于人體姿態(tài)變換任務(wù)，即輸入來(lái)源人像和目標(biāo)姿態(tài)，合成出本人在目標(biāo)姿態(tài)下的圖像。為了實(shí)現(xiàn)該任務(wù)，一些方法使用部件掩碼、人體解析或者流場(chǎng)映射，對(duì)來(lái)源人像的局部區(qū)域進(jìn)行空間變換，從而能夠維護(hù)本人在目標(biāo)姿態(tài)下的外觀特征。其他方法引入了參數(shù)化模型SMPL或者稠密姿態(tài)，來(lái)提供人體結(jié)構(gòu)的先驗(yàn)信息。

現(xiàn)有方法都可以對(duì)來(lái)源人像的某些屬性進(jìn)行編輯，但是不能從無(wú)到有，生成出一張全新的人體圖像。因此，現(xiàn)在亟需一種基于手繪草圖的人體圖像生成方法及系統(tǒng)來(lái)解決上述問(wèn)題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供一種基于手繪草圖的人體圖像生成方法及系統(tǒng)。

本發(fā)明提供一種基于手繪草圖的人體圖像生成方法，包括：

獲取手繪人體草圖，并根據(jù)預(yù)設(shè)身體部件，對(duì)所述手繪人體草圖進(jìn)行分割，得到分割后的手繪人體草圖；

對(duì)所述分割后的手繪人體草圖進(jìn)行幾何形態(tài)改善處理，得到第一人體草圖和第一解析圖，所述第一解析圖為所述第一人體草圖對(duì)應(yīng)的掩碼圖；

將所述第一人體草圖和所述第一解析圖輸入到訓(xùn)練好的結(jié)構(gòu)改善模型中，得到第二人體草圖和第二解析圖，所述第二解析圖為所述第二人體草圖對(duì)應(yīng)的掩碼圖，其中，所述訓(xùn)練好的結(jié)構(gòu)改善模型是由標(biāo)記有身體部件類(lèi)型的樣本身體部件邊圖，對(duì)姿態(tài)估計(jì)網(wǎng)絡(luò)和空間變換網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的；

將所述第二人體草圖和所述第二解析圖輸入到訓(xùn)練好的人體圖像合成模型中，得到人體合成圖像，所述訓(xùn)練好的人體圖像合成模型是由經(jīng)過(guò)空間變換的樣本身體部件邊圖，對(duì)GauGAN模型進(jìn)行訓(xùn)練得到的。

根據(jù)本發(fā)明提供的一種基于手繪草圖的人體圖像生成方法，在所述將所述第二人體草圖和所述第二解析圖輸入到訓(xùn)練好的人體圖像合成模型中，得到人體合成圖像之后，所述方法還包括：

根據(jù)人體合成圖像和第二解析圖，對(duì)所述人體合成圖像中的臉部區(qū)域進(jìn)行裁切，得到臉部圖像塊和對(duì)應(yīng)的臉部掩碼；

將所述臉部圖像塊和所述臉部掩碼輸入到訓(xùn)練好的人臉改善模型中，得到人臉區(qū)域的殘差圖像，所述訓(xùn)練好的人臉改善網(wǎng)絡(luò)是由樣本臉部圖像塊和對(duì)應(yīng)的樣本臉部掩碼，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的；

根據(jù)所述殘差圖像，對(duì)所述人體合成圖像的人臉區(qū)域進(jìn)行優(yōu)化，得到人臉區(qū)域優(yōu)化后的人體合成圖像。

根據(jù)本發(fā)明提供的一種基于手繪草圖的人體圖像生成方法，所述對(duì)所述分割后的手繪人體草圖進(jìn)行幾何形態(tài)改善處理，得到第一人體草圖和第一解析圖，包括：

將所述分割后的手繪人體草圖中每個(gè)身體部件草圖，輸入到對(duì)應(yīng)的隱向量編碼器中，得到每個(gè)身體部件草圖的隱向量；

通過(guò)檢索和插值的方式，將每個(gè)隱向量投影到對(duì)應(yīng)的潛在空間，得到每個(gè)身體部件草圖的投影向量；