[發明專利]基于2D圖像的虛擬試衣方法及裝置

在審

• 申請號: 202011116383.0
• 申請日: 2020-10-19
• 公開（公告）號: CN112258269A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 彭濤;常源;劉軍平;胡新榮;何儒漢;張俊杰;張自力;姜明華
• 申請（專利權）人: 武漢紡織大學
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06N3/04;G06T5/50;G06K9/34
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 童素珠

1.一種基于2D圖像的虛擬試衣方法，其特征在于，包括：

獲取參考人圖像和目標衣服圖像；

根據由所述參考人圖像中提取的粗糙身體形狀圖、姿勢圖及非試穿區域細節圖合成參考人表示圖；

根據所述參考人表示圖對目標衣服圖像的像素進行扭曲得到第一扭曲衣服圖像，及對所述目標衣服圖像的特征進行扭曲得到第二扭曲衣服圖像和預測扭曲衣服合成掩碼；

基于所述扭曲衣服合成掩碼對第一扭曲衣服圖像和第二扭曲衣服圖像進行合成得到最終扭曲衣服圖像；

分別提取所述參考人表示圖和最終扭曲衣服圖像的特征得到初步試穿合成圖像及預測試穿圖像合成掩碼；

根據所述試穿圖像合成掩碼合成初步試穿合成圖像和最終扭曲衣服圖像得到最終的試穿合成圖像，完成基于2D圖像的虛擬試衣。

2.如權利要求1所述的虛擬試衣方法，其特征在于，所述根據由所述參考人圖像中提取的粗糙身體形狀圖、姿勢圖及非試穿區域細節圖合成參考人表示圖包括：

從所述參考人圖像中提取人體部位語義分割圖和姿勢圖；

根據所述人體部位語義分割圖于所述參考人圖像中得到粗糙身體形狀圖和非試穿區域細節圖；

根據所述粗糙身體形狀圖、姿勢圖及非試穿區域細節圖合成得到所述參考人表示圖。

3.如權利要求1或2所述的虛擬試衣方法，其特征在于，所述根據所述參考人表示圖對目標衣服圖像的像素進行扭曲得到第一扭曲衣服圖像包括：

將所述參考人表示圖和目標衣服圖像分別傳入兩個非共享參數的孿生卷積神經網絡提取特征，所述兩個孿生卷積神經網絡結構相同；

將所述參考人表示圖和目標衣服圖像的特征傳入回歸網絡預測空間變換參數；

根據所述空間變換參數對目標衣服圖像的像素進行扭曲得到第一扭曲衣服圖像。

4.如權利要求3所述的虛擬試衣方法，其特征在于，所述對所述目標衣服圖像的特征進行扭曲得到第二扭曲衣服圖像和預測扭曲衣服合成掩碼包括：

將所述目標衣服圖像傳入卷積神經網絡提取特征；

根據所述空間變換參數對提取的目標衣服圖像的特征進行扭曲；

將扭曲的特征傳入與所述卷積神經網絡結構對應的反卷積神經網絡得到經過特征扭曲的第二扭曲衣服圖像和預測扭曲衣服合成掩碼。

5.如權利要求1或2或4所述的虛擬試衣方法，其特征在于，所述分別提取所述參考人表示圖和最終扭曲衣服圖像的特征得到初步試穿合成圖像及預測試穿圖像合成掩碼包括：

將所述參考人表示圖和最終扭曲衣服圖分別傳入兩個非共享參數的孿生卷積神經網絡提取特征，所述兩個孿生卷積神經網絡結構相同；

將所述參考人表示圖和最終扭曲衣服圖的特征傳入與所述孿生卷積神經網絡結構對應的反卷積神經網絡得到得到初步試穿合成圖像及預測試穿圖像合成掩碼；所述兩個非共享參數的孿生卷積神經網絡的最后一層輸出作為對應反卷積神經網絡的輸入，且兩個非共享參數的孿生卷積神經網絡其它層的輸出通過跨過連接的方式與對應反卷積神經網絡相應層連接。

6.一種基于2D圖像的虛擬試衣裝置，其特征在于，包括：

圖像獲取模塊，用于獲取參考人圖像和目標衣服圖像；

參考人表示圖生成模塊，用于根據由所述參考人圖像中提取的粗糙身體形狀圖、姿勢圖及非試穿區域細節圖合成參考人表示圖；

扭曲衣服圖像生成模塊，用于根據所述參考人表示圖對目標衣服圖像的像素進行扭曲得到第一扭曲衣服圖像、對所述目標衣服圖像的特征進行扭曲得到第二扭曲衣服圖像和預測扭曲衣服合成掩碼、及基于所述扭曲衣服合成掩碼對第一扭曲衣服圖像和第二扭曲衣服圖像進行合成得到最終扭曲衣服圖像；

試穿合成圖像生成模塊，用于分別提取所述參考人表示圖和最終扭曲衣服圖像的特征得到初步試穿合成圖像及預測試穿圖像合成掩碼，并根據所述試穿圖像合成掩碼合成初步試穿合成圖像和最終扭曲衣服圖像得到最終的試穿合成圖像，完成基于2D圖像的虛擬試衣。