[發明專利]一種基于神經網絡的二維虛擬試衣方法

有效

• 申請號: 201911069738.2
• 申請日: 2019-11-05
• 公開（公告）號: CN110852941B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 蘇卓;孫峰;周凡
• 申請（專利權）人: 中山大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/50;G06T7/11;G06T7/40;G06Q30/0601;G06N3/08;G06N3/0464
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于神經網絡的二維虛擬試衣方法，其特征在于，所述方法包括：

步驟一，從服裝數據集篩選并輸入原始人物圖和目標服裝圖，并處理成統一尺寸；

步驟二，對所述處理成統一尺寸的原始人物圖進行進一步處理生成人體外形圖、人體關節點圖和人體解析圖作為人體部分特征；

步驟三，使用所述人體部分特征和步驟一得到的統一尺寸的目標服裝圖，使用卷積神經網絡D中的編碼解碼結構輸出目標人體解析圖；

步驟四，使用神經網絡E對步驟一得到的統一尺寸的目標服裝圖按照所述目標人體解析圖中的服裝層進行變形，生成變形服裝圖；

步驟五，使用所述變形服裝圖、目標人體解析圖和步驟二得到的人體外形圖、人體關節點圖和人體解析圖通過神經網絡F中的編碼解碼結構進行訓練，生成最終的效果圖；

步驟六，將步驟一中的目標服裝圖改為與原始人物圖所穿著衣服不同的服裝圖，重復步驟二、三、四、五的過程，其中步驟三、四、五中的神經網絡D、E、F不需要再訓練，直接輸出結果應用到之后的步驟；經過步驟五輸出的最終效果圖即為原始人物圖中的人物換裝之后的圖片；

其中，所述使用卷積神經網絡D中的編碼解碼結構輸出目標人體解析圖，具體為：

輸入所述人體關節點圖，包括7層二進制圖，人體解析圖，包括3層RGB圖，以及所述人體外形圖，包括1層二進制圖；將上述所有圖層在圖層維度上進行組合，形成一個圖層整體；

將所述圖層整體通過U-Net結構的編碼解碼神經網絡D，編碼器有6個卷積層，解碼器有6個相對應的反卷積層，卷積核尺寸為4*4，在編碼器和解碼器之間增加跳變結構，除了編碼器的最后一層和解碼器的第一層，將編碼器相應層生成的特征圖和解碼器相對應層生成的特征圖進行組合，作為下一層卷積層的輸入，最后一層生成代表原始人物圖中的人物穿著目標服裝之后的目標人體解析圖，包括16個層，每個層代表人的一個部位，相應部位像素值用1表示，其他區域像素值用0表示；

對每個解析部分的應用以下公式所示的交叉熵得到的像素級損失求和作為損失函數進行訓練，直到損失函數的結果達到收斂；

H和W表示圖像的寬和高，i表示圖像中的像素點，C表示劃分部位的數量，c表示其中的一個部位，y_ic表示生成的像素值，表示真實的像素值；

其中，所述通過神經網絡F中的編碼解碼結構進行訓練，生成最終的效果圖，具體為：

按照所述人體解析圖中的人臉和頭發部分圖層像素值為1的區域分割原始人物圖中的人臉和頭發區域；將所述變形服裝圖、目標人體解析圖和原始人物圖中的人臉和頭發區域在圖層對應維度進行組合形成一個整體；

將所述整體通過神經網絡F中U-net結構的編碼解碼網絡進行訓練；編碼器包含6個卷積層，解碼器包含6個相對應的反卷積層，卷積核尺寸為4*4，除了編碼器的最后一層和解碼器的第一層，將編碼器相應層生成的特征圖和解碼器相對應層生成的特征圖進行組合，作為下一層卷積層的輸入，最后一層卷積層生成四個圖層，其中前三層稱為粗略結果圖，最后一層稱為服裝掩碼圖；

將所述變形服裝圖與所述服裝掩碼圖進行對應像素相乘，生成最終效果圖的第一部分；新建一個圖層，該圖層每一層的值為1減去服裝掩碼圖對應像素的值，該圖層稱為掩碼互補圖；將所述粗略結果圖與掩碼互補圖進行對應像素相乘，生成最終結果圖的第二部分；將生成結果圖的第一部分與第二部分對應像素值進行相加，得到最終效果圖；

將所述最終效果圖和統一尺寸的原始人物圖通過神經網絡G中的VGG19網絡前五層卷積層分別輸出兩部分的對比結果圖，對兩部分的對比結果求L1損失，得到風格損失結果；對最終結果圖和統一尺寸的原始人物圖的對應像素值求L1損失，將風格損失和L1像素損失相加作為神經網絡F最終的損失函數進行訓練，直到損失函數的結果達到收斂。