[發明專利]一種基于神經網絡搜索的虛擬試穿方法和系統

在審

• 申請號: 202111323293.3
• 申請日: 2021-11-09
• 公開（公告）號: CN114202637A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 沙煜;謝震宇;梁小丹
• 申請（專利權）人: 中山大學;中山大學·深圳
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06V40/10;G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;許羽冬

本發明提供了一種基于神經網絡搜索的虛擬試穿方法和系統，所述方法包括：獲取人體形狀圖和目標衣物圖片，通過語義預測網絡和Openpose網絡獲得人體關鍵點圖、人體語義分割圖和部分語義分割圖；構造變形網絡搜索空間，將原衣物掩模和目標衣物圖片掩模聯接，搜索出衣物變形場；通過衣物變形場將目標衣物變形至目標形態；構造融合網絡搜索空間，結合人體形狀圖、人體關鍵點圖、目標衣物圖片和人體語義分割圖得到試穿結果。本發明通過神經網絡搜索以及雙層層次搜索空間，針對不同的衣物種類自動搜索出的衣物變形場，提供了一種成功率高、自由度高的虛擬試穿方法和系統，能夠解決不同服裝的變形差異引起的空間錯位，具有較高的效率和靈活性。

技術領域

本發明涉及虛擬試穿領域，尤其涉及一種基于神經網絡搜索的虛擬試穿方法和系統。

背景技術

由于生成模型的迅速的發展和巨大的實用價值，基于圖像的虛擬試穿具有較大的應用前景。虛擬試穿的核心挑戰是找到合適的變形方法，以解決源和目標服裝區域之間的空間錯位。現有技術主要通過基于TPS的方法或基于流的方法模擬非剛性服裝變形來解決這一問題。基于TPS的方法通過估計薄板樣條變換的參數，將衣物傳到人體上。雖然結果總體上很好，但是基于TPS的方法自由度有限，當服裝變形大或遮擋嚴重時，往往會導致試穿失敗。而基于流的方法通過估計密集流場，對圖像空間中的精細元素像素點進行操作，在面對不同服裝類別時始終如一地使用固定的變形結構，導致了較低的變換效率，且將可能的變形限制在局部變形子空間，在復雜的試穿場景下，試穿效果不理想。

發明內容

本發明提供了一種基于神經網絡搜索的虛擬試穿方法和系統，解決了不同服裝的變形差異引起的空間錯位，提高了試穿的自由度和成功率。

為了解決上述技術問題，本發明實施例提供了一種，包括：

獲取人體形狀圖和目標衣物圖片，通過語義預測網絡和Openpose網絡，獲得人體關鍵點圖、人體語義分割圖和部分語義分割圖；

構造變形網絡搜索空間，將原衣物對應的掩模和目標衣物圖片對應的掩模聯接，在所述變形網絡搜索空間中搜索出與衣物種類對應的衣物變形場；

通過所述衣物變形場將目標衣物圖片變形至目標形態；

構造融合網絡搜索空間，通過所述融合網絡搜索空間，結合所述人體形狀圖、所述人體關鍵點圖、目標形態下的目標衣物圖片和所述人體語義分割圖，得到試穿結果。

進一步地，所述獲取人體形狀圖和目標衣物圖片，通過語義預測網絡和Openpose網絡，獲得人體關鍵點圖、人體語義分割圖和部分語義分割圖，具體為：

輸入所述人體形狀圖，通過Openpose網絡預測出所述人體關鍵點圖，通過第一語義預測網絡預測出所述人體語義分割圖；

根據所述人體關鍵點圖和所述人體語義分割圖，對所述人體形狀圖進行截取，獲得包含人體面部和頭部的圖像，并將所述人體語義分割圖轉換為二進制掩模；

根據所述人體關鍵點圖、包含人體面部和頭部的圖像和與所述人體語義分割圖對應的二進制掩模聯接，通過第二語義預測網絡得到部分語義分割圖。

進一步地，所述將原衣物對應的掩模和目標衣物圖片對應的掩模聯接，在所述變形網絡搜索空間中搜索出與衣物種類對應的衣物變形場，具體為：

將原衣物對應的掩模和目標衣物圖片對應的掩模聯接，通過所述變形網絡搜索空間提取特征層并預測得到粗糙變形流場，通過所述特征層的若干次變形和所述粗糙變形流場的若干次精細化，搜索出經過精細化的與衣物種類對應的衣物變形場。

進一步地，所述通過所述衣物變形場將目標衣物圖片變形至目標形態，具體為：

根據所述衣物變形場中每個像素，對所述目標衣物圖片的每個像素點進行x方向偏移計算和y方向偏移計算，得到目標形態下的目標衣物圖片。