[發(fā)明專利]虛擬試衣方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110146096.2
• 申請(qǐng)日: 2021-02-02
• 公開(kāi)（公告）號(hào): CN112884638A
• 公開(kāi)（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 李晶;左宗英;武嫣
• 申請(qǐng)（專利權(quán)）人: 北京東方國(guó)信科技股份有限公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06K9/62
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 鄭朝然

1.一種虛擬試衣方法，其特征在于，包括：

根據(jù)待試衣對(duì)象原始視角的原始圖像，獲取所述待試衣對(duì)象的三維模型，并基于所述待試衣對(duì)象的三維模型，獲取所述待試衣對(duì)象多個(gè)目標(biāo)視角的模型圖像；

根據(jù)所述原始圖像，分別對(duì)每一所述模型圖像進(jìn)行細(xì)節(jié)補(bǔ)充，獲得所述待試衣對(duì)象所述多個(gè)目標(biāo)視角的補(bǔ)全圖像；

對(duì)于每一目標(biāo)視角，將所述每一目標(biāo)視角的所述補(bǔ)全圖像和所述每一目標(biāo)視角的待試衣物圖像輸入虛擬試衣模型，獲取所述待試衣對(duì)象所述每一目標(biāo)視角的虛擬試衣效果圖像；

其中，所述虛擬試衣模型是基于多個(gè)樣本圖像組及所述樣本圖像組對(duì)應(yīng)的標(biāo)簽進(jìn)行訓(xùn)練后得到的；每一所述樣本圖像組包括第一人物樣本訓(xùn)練視角的圖像和衣物樣本所述訓(xùn)練視角的圖像；所述樣本圖像組對(duì)應(yīng)的標(biāo)簽為所述第一人物樣本試穿所述衣物樣本所述訓(xùn)練視角的圖像。

2.根據(jù)權(quán)利要求1所述的虛擬試衣方法，其特征在于，所述根據(jù)所述原始圖像，分別對(duì)每一所述模型圖像進(jìn)行細(xì)節(jié)補(bǔ)充，獲得所述待試衣對(duì)象所述多個(gè)目標(biāo)視角的補(bǔ)全圖像，具體包括：

對(duì)于每一目標(biāo)視角，將所述原始圖像和所述每一目標(biāo)視角的模型圖像輸入細(xì)節(jié)補(bǔ)充模型，獲取所述待試衣對(duì)象所述每一目標(biāo)視角的補(bǔ)全圖像；

其中，所述細(xì)節(jié)補(bǔ)充模型是基于第二人物樣本所述原始視角的圖像及預(yù)先獲取的所述第二人物樣本的圖像對(duì)應(yīng)的標(biāo)簽進(jìn)行訓(xùn)練后得到的。

3.根據(jù)權(quán)利要求2所述的虛擬試衣方法，其特征在于，所述對(duì)于每一目標(biāo)視角，將所述原始圖像和所述每一目標(biāo)視角的模型圖像輸入細(xì)節(jié)補(bǔ)充模型，獲得所述待試衣對(duì)象所述每一目標(biāo)視角的補(bǔ)全圖像，具體包括：

對(duì)于每一目標(biāo)視角，將所述原始圖像分別輸入所述細(xì)節(jié)補(bǔ)充模型中的第一特征提取子模型和第二特征提取子模型，獲取所述原始圖像的全局原始特征和區(qū)域原始特征，并將所述每一目標(biāo)視角的所述模型圖像分別輸入所述第一特征提取子模型和所述第二特征提取子模型，獲取所述每一目標(biāo)視角的所述模型圖像的全局模型特征和區(qū)域模型特征；

將所述原始圖像的所述全局原始特征、區(qū)域原始特征與所述每一目標(biāo)視角的所述模型圖像的全局模型特征和區(qū)域模型特征輸入所述細(xì)節(jié)補(bǔ)充模型中的細(xì)節(jié)補(bǔ)充子模型，獲取所述待試衣對(duì)象所述每一目標(biāo)視角的補(bǔ)全圖像。

4.根據(jù)權(quán)利要求3所述的虛擬試衣方法，其特征在于，所述第一特征提取子模型，包括：順次連接的多個(gè)卷積單元和一個(gè)全連接單元；所述第二特征提取子模型，包括順次連接的多個(gè)卷積單元和一個(gè)全連接單元。

5.根據(jù)權(quán)利要求1所述的虛擬試衣方法，其特征在于，所述根據(jù)待試衣對(duì)象原始視角的原始圖像，獲取所述待試衣對(duì)象的三維模型，具體包括：

將所述原始圖像輸入建模模型，獲取所述待試衣對(duì)象的三維模型；

其中，所述建模模型是基于第三人物樣本的樣本圖像和所述第三人物樣本對(duì)應(yīng)的三維模型進(jìn)行訓(xùn)練后得到的。

6.根據(jù)權(quán)利要求5所述的虛擬試衣方法，其特征在于，所述建模模型，為PIFuHD模型。

7.根據(jù)權(quán)利要求1至6任一所述的虛擬試衣方法，其特征在于，所述虛擬試衣模型，為ACFPN模型。

8.一種虛擬試衣裝置，其特征在于，包括：

圖像處理模塊，用于根據(jù)待試衣對(duì)象原始視角的原始圖像，獲取所述待試衣對(duì)象多個(gè)目標(biāo)視角的模型圖像；其中，所述多個(gè)目標(biāo)視角包括與所述原始視角相同的目標(biāo)視角；

細(xì)節(jié)補(bǔ)充模塊，用于根據(jù)所述原始圖像，分別對(duì)每一所述模型圖像進(jìn)行細(xì)節(jié)補(bǔ)充，獲得所述待試衣對(duì)象所述多個(gè)目標(biāo)視角的補(bǔ)全圖像；

虛擬試衣模塊，用于對(duì)于每一目標(biāo)視角，將所述每一目標(biāo)視角的所述補(bǔ)全圖像和所述每一目標(biāo)視角的待試衣物圖像輸入虛擬試衣模型，獲取所述待試衣對(duì)象所述每一目標(biāo)視角的虛擬試衣效果圖像；

其中，所述虛擬試衣模型是基于樣本圖像組及所述樣本圖像組對(duì)應(yīng)的標(biāo)簽進(jìn)行訓(xùn)練后得到的；每一所述樣本圖像組包括第一人物樣本訓(xùn)練視角的圖像和衣物樣本所述訓(xùn)練視角的圖像；所述樣本圖像組對(duì)應(yīng)的標(biāo)簽為所述第一人物樣本試穿所述衣物樣本所述訓(xùn)練視角的圖像。