[發(fā)明專利]虛擬換裝方法及相關設備

有效

• 申請?zhí)枺?/td>: 202011533053.1
• 申請日: 2020-12-23
• 公開（公告）號: CN112258389B
• 公開（公告）日: 2021-11-02
• 發(fā)明（設計）人: 申童;張煒;梅濤;周伯文
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海;闞梓瑄

本公開提供了一種虛擬換裝方法、裝置、電子設備及存儲介質。該方法包括：獲取待換裝對象圖像和服飾透底圖；對待換裝對象圖像進行分割，獲得待換裝對象圖像的目標服飾區(qū)域的掩膜；通過流形變模型對掩膜和服飾透底圖進行處理，獲得目標流，目標流用于表征掩膜和服飾透底圖中的像素之間的對應關系；根據目標流獲得形變后的服飾透底圖，使得服飾透底圖的每個像素通過流的形變轉移到目標服飾區(qū)域的對應位置，實現服飾透底圖中的新目標服飾到目標服飾區(qū)域的形變；融合待換裝對象圖像、掩膜和形變后的服飾透底圖，獲得目標成品圖像。該方法可以獲得真實、新目標服飾和待換裝對象匹配準確的目標成品圖像。

技術領域

本公開涉及計算機技術領域，尤其涉及一種虛擬換裝方法、裝置、電子設備及存儲介質。

背景技術

虛擬換裝可以指給定人物照片和衣服透底圖，將人物照片與衣服透底圖結合，獲得穿著衣服透底圖中的衣服的新人物照片。虛擬換裝可以用虛擬的方式展示不同衣服的試穿效果。此任務主要有幾個技術難點：透底圖和目標姿勢的匹配、衣服上的陰影褶皺以及衣服邊緣的處理。

相關技術中的虛擬換裝方法，通常根據大量數據的訓練，使得模型初步具備生成目標人物穿指定衣服的能力。但是，這種方法較為依賴訓練數據集，如果測試數據與訓練數據差異較大，模型的輸出結果往往和訓練數據更加接近，和測試數據差距很大。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發(fā)明內容

本公開的目的在于提供一種虛擬換裝方法、裝置、電子設備及存儲介質，該方法可以獲得真實、新目標服飾和待換裝對象匹配準確的目標成品圖像。

本公開的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

本公開實施例提供一種虛擬換裝方法，包括：獲取待換裝對象 圖像和服飾透底圖；對待換裝對象圖像進行分割，獲得待換裝對象圖像的目標服飾區(qū)域的掩膜；通過流形變模型對掩膜和服飾透底圖進行處理，獲得目標流，目標流用于表征掩膜和服飾透底圖中的像素之間的對應關系；根據目標流獲得形變后的服飾透底圖，使得服飾透底圖的每個像素通過流的形變轉移到目標服飾區(qū)域的對應位置，實現服飾透底圖中的新目標服飾到目標服飾區(qū)域的形變；融合待換裝對象圖像、掩膜和形變后的服飾透底圖，獲得目標成品圖像，目標成品圖像中用形變后的服飾透底圖中的新目標服飾替換待換裝對象圖像的原目標服飾。

在本公開一些示例性實施例中，流形變模型包括第一下采樣結構、第二下采樣結構、第一上采樣結構、第二上采樣結構、第一融合結構及第二融合結構，第一下采樣結構包括第一殘差模塊和第二殘差模塊，第二下采樣結構包括第三殘差模塊和第四殘差模塊，其中，通過流形變模型對掩膜和服飾透底圖進行處理，獲得目標流，包括：通過第一下采樣結構的第一殘差模塊和第二殘差模塊分別對掩膜進行下采樣，獲得第一尺寸的第一掩膜特征向量及第二尺寸的第二掩膜特征向量，第一尺寸大于第二尺寸；通過第一上采樣結構對第二掩膜特征向量進行上采樣，獲得第一尺寸的上采樣后的第二掩膜特征向量；通過第一融合結構融合上采樣后的第二掩膜特征向量和第一掩膜特征向量，獲得第一尺寸的第一掩膜融合特征向量；通過第二下采樣結構的第三殘差模塊和第四殘差模塊分別對服飾透底圖進行下采樣，獲得第一尺寸的第一透底圖特征向量及第二尺寸的第二透底圖特征向量；通過第二上采樣結構對第二透底圖特征向量進行上采樣，獲得第一尺寸的上采樣后的第二透底圖特征向量；通過第二融合結構融合上采樣后的第二透底圖特征向量和第一透底圖特征向量，獲得第一尺寸的第一透底圖融合特征向量。