[發明專利]一種基于神經網絡搜索的虛擬試穿方法和系統

在審

• 申請號: 202111323293.3
• 申請日: 2021-11-09
• 公開（公告）號: CN114202637A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 沙煜;謝震宇;梁小丹
• 申請（專利權）人: 中山大學;中山大學·深圳
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06V40/10;G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;許羽冬

1.一種基于神經網絡搜索的虛擬試穿方法，其特征在于，包括：

獲取人體形狀圖和目標衣物圖片，通過語義預測網絡和Openpose網絡，獲得人體關鍵點圖、人體語義分割圖和部分語義分割圖；

構造變形網絡搜索空間，將原衣物對應的掩模和目標衣物圖片對應的掩模聯接，在所述變形網絡搜索空間中搜索出與衣物種類對應的衣物變形場；

通過所述衣物變形場將目標衣物圖片變形至目標形態；

構造融合網絡搜索空間，通過所述融合網絡搜索空間，結合所述人體形狀圖、所述人體關鍵點圖、目標形態下的目標衣物圖片和所述人體語義分割圖，得到試穿結果。

2.如權利要求1所述的一種基于神經網絡搜索的虛擬試穿方法，其特征在于，所述獲取人體形狀圖和目標衣物圖片，通過語義預測網絡和Openpose網絡，獲得人體關鍵點圖、人體語義分割圖和部分語義分割圖，具體為：

獲取所述人體形狀圖，通過Openpose網絡預測出所述人體關鍵點圖，通過第一語義預測網絡預測出所述人體語義分割圖；

根據所述人體關鍵點圖和所述人體語義分割圖，對所述人體形狀圖進行截取，獲得包含人體面部和頭部的圖像，并將所述人體語義分割圖轉換為二進制掩模；

根據所述人體關鍵點圖、包含人體面部和頭部的圖像和與所述人體語義分割圖對應的二進制掩模聯接，通過第二語義預測網絡得到部分語義分割圖。

3.如權利要求1所述的一種基于神經網絡搜索的虛擬試穿方法，其特征在于，所述將原衣物對應的掩模和目標衣物圖片對應的掩模聯接，在所述變形網絡搜索空間中搜索出與衣物種類對應的衣物變形場，具體為：

將原衣物對應的掩模和目標衣物圖片對應的掩模聯接，通過所述變形網絡搜索空間提取特征層并預測得到粗糙變形流場，通過所述特征層的若干次變形和所述粗糙變形流場的若干次精細化，搜索出經過精細化的與衣物種類對應的衣物變形場。

4.如權利要求3所述的一種基于神經網絡搜索的虛擬試穿方法，其特征在于，所述通過所述衣物變形場將目標衣物圖片變形至目標形態，具體為：

根據所述衣物變形場中每個像素，對所述目標衣物圖片的每個像素點進行x方向偏移計算和y方向偏移計算，得到目標形態下的目標衣物圖片。

5.如權利要求1至4任意一項所述的一種基于神經網絡搜索的虛擬試穿方法，其特征在于，通過所述融合網絡搜索空間，結合所述人體形狀圖、所述人體關鍵點圖、目標形態下的目標衣物圖片和所述人體語義分割圖，得到試穿結果，具體為：

在所述融合網絡搜索空間中，訓練所有的融合網絡，通過遺傳算法搜索訓練好的融合網絡，將所述人體形狀圖、所述人體關鍵點圖、目標形態下的目標衣物圖片和所述人體語義分割圖輸入搜索到的融合網絡，得到試穿結果。

6.一種基于神經網絡搜索的虛擬試穿系統，其特征在于，包括獲取模塊、搜索模塊、變形模塊和試穿模塊；其中，

所述獲取模塊用于獲取人體形狀圖和目標衣物圖片，通過語義預測網絡和Openpose網絡，獲得人體關鍵點圖、人體語義分割圖和部分語義分割圖；

所述搜索模塊用于構造變形網絡搜索空間，將原衣物對應的掩模和目標衣物圖片對應的掩模聯接，在所述變形網絡搜索空間中搜索出與衣物種類對應的衣物變形場；

所述變形模塊用于通過所述衣物變形場將目標衣物圖片變形至目標形態；

所述試穿模塊用于構造融合網絡搜索空間，通過所述融合網絡搜索空間，結合所述人體形狀圖、所述人體關鍵點圖、目標形態下的目標衣物圖片和所述人體語義分割圖，得到試穿結果。