[發明專利]用于服裝虛擬試穿的人體姿勢變換方法及系統

在審

• 申請號: 202110542325.2
• 申請日: 2021-05-18
• 公開（公告）號: CN113297944A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 余鋒;杜成虎;姜明華;周昌龍
• 申請（專利權）人: 武漢紡織大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06T3/00;G06N3/04
• 代理公司: 武漢維盾知識產權代理事務所(普通合伙) 42244
• 代理人: 彭永念

本發明涉及用于服裝虛擬試穿的人體姿勢變換方法，包括：分別采集試穿的人體和準備試穿的服裝的圖像，得到人體圖像和目標服裝圖像；利用語義分割神經網絡對人體圖像進行語義分割；利用沙漏型卷積神經網絡提取人體圖像中的姿勢點；結合姿勢點圖和目標服裝，采用樣條插值算法對目標服裝進行多個試穿姿勢的扭曲變換，得到具姿勢變換的目標服裝；采用生成對抗網絡對具姿勢變換的目標服裝和人體圖像進行融合，得到試穿服裝的人體效果圖。本發明還公開了相應的人體姿勢變換系統。本發明可進行各種各樣服裝的虛擬試穿，并展示不同姿態的試穿效果，便于判斷服裝的穿著效果，代替現場的服裝試穿，大大提高人試穿服裝的效率，省時省力。

技術領域

本發明屬于智能服裝制造領域，具體涉及一種用于服裝虛擬試穿的人體姿勢變換方法及系統。

背景技術

目前，在圖像處理時尚領域，對于包含人體圖像的人體姿勢進行轉變的方法可以在2D圖像試穿服裝后進行各種姿勢的變換調整，以增加用戶的體驗，當下有很大的潛在應用價值。現有的人體變換方法很難保留原始的人物身份信息，即人體的面部，頭發，膚色等，使生成的圖像模糊，丟失了過多的紋理信息，不具有使用價值。

計算機視覺技術飛速發展，計算機能夠處理的場景越來越多，因此越來越多的場合開始使用基于圖像的服裝處理技術。近年來，出現了基于圖像分析的姿勢轉換方法。公開號為CN111680623A的中國專利“姿態轉換方法及裝置、電子設備、存儲介質”通過對待處理圖像進行特征提取，得到所述待處理圖像所呈現目標體的目標表觀特征，獲取目標姿態特征，基于所述目標表觀特征以及所述目標姿態特征，對所述待處理圖像中的所述目標體進行姿態轉換，得到目標圖像。這種方法無法對人體進行服裝的更換，實際應用中有很大局限性。申請號為CN201910966746.0的中國專利“基于計算機視覺的人體姿態分類方法” 通過監控攝像頭采集視頻監控數據，篩選出有效人體姿態分類特征，訓練出人體姿態分類模型。這種方式沒有對圖像的姿勢進行轉換，沒有實現姿勢轉換的效果。

發明內容

本發明的目的是針對上述問題，提供一種用于服裝虛擬試穿的人體姿勢變換方法及系統，對試穿人的人體圖像進行語義分割，并提取人體姿勢點，對試穿服裝結合人體姿勢點進行適應人體姿勢的扭曲變換，對具姿勢變換的目標服裝和人體語義分割圖像進行融合生成，并利用人體發膚的特征對得到的試穿服裝的人體效果圖再次進行融合優化，得到最終的試穿服裝的人體效果圖，使得試穿效果圖更逼真，且可得到不同姿勢的試穿效果圖，便于判斷服裝試穿效果，提高服裝試穿效率。

本發明的技術方案是用于服裝虛擬試穿的人體姿勢變換方法，包括以下步驟：

步驟1：分別采集試穿的人體和準備試穿的服裝的圖像，得到人體圖像和目標服裝圖像；

步驟2：利用語義分割神經網絡對人體圖像進行語義分割，得到人體語義分割圖；

步驟3：利用沙漏型卷積神經網絡提取人體圖像中的姿勢點，得到姿勢點圖；

步驟4：結合姿勢點圖和目標服裝，采用樣條插值算法對目標服裝進行多個試穿姿勢的扭曲變換，得到具姿勢變換的目標服裝；

步驟5：根據人體語義分割圖，采用生成對抗網絡對具姿勢變換的目標服裝和人體圖像進行融合，得到試穿服裝的人體效果圖；

步驟6：利用卷積神經網絡，將步驟5得到的試穿服裝的人體效果圖與姿勢點圖以及人體面部、肢體的膚色特征再次進行融合，得到最終的試穿服裝的人體效果圖。

所述姿勢點為人體上隨人體動作，變化幅度大的脊柱、肢體上的關節點。

優選地，步驟2中，所述語義分割神經網絡為變分自動編碼器，可采用Unet網絡或FCN或DeepLab。

進一步地，步驟3，所述沙漏型卷積神經網絡采用OpenPose或CPM或PoseCNN。

優選地，步驟4中，所述樣條插值算法為薄板樣條插值算法。