[發明專利]一種姿態和紋理引導的時尚服裝設計合成方法

有效

• 申請號: 202110660701.8
• 申請日: 2021-06-15
• 公開（公告）號: CN113393550B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 顧曉玲;俞俊;黃潔
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T11/00
• 分類號: G06T11/00
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種姿態和紋理引導的時尚服裝設計合成的方法。本發明步驟：1、借助現有的時尚數據集，收集任務的數據，并對數據進行預處理，構建時尚圖像、姿態信息、語義信息數據組；2、以生成自然準確的時尚圖像為目標，構建兩階段生成模型；生成模型包括語義布局生成網絡和紋理生成網絡，實現紋理有效轉移，生成多樣性的時尚圖像；3、在最小化對抗損失、交叉熵損失、像素級損失、感知損失及風格損失下，利用收集到的數據組訓練語義布局生成網絡和紋理轉移網絡；4、通過反向傳播算法對生成模型中的網絡參數進行訓練，直至整個模型收斂，生成對應的時尚圖像。本發明在Fashion?Gen數據集上進行了實驗，在定量和定性上都取得了很好的結果。

技術領域

本發明提到了一種姿態和紋理引導的時尚服裝設計合成(Pose and TextureGuided Multi-View Fashion Design Synthesis)的新方法，其中主要涉及一種利用語義布局生成網絡將輸入的人體姿態轉換為一系列的人體語義布局的方法，以及使用紋理轉移網絡實現紋理轉移，并通過生成對抗網絡生成真實的時尚圖像的方法。

背景技術

由于現實生活應用的高需求和深度學習、機器學習、計算機視覺、多媒體技術等相關理論和技術的突破發展，將人工智能與時尚相結合的任務近年來受到了相當多的關注，如服裝識別、服裝檢索、時尚推薦、時尚趨勢預測等方面，研究的主題對象為服裝。最近幾年，由于生成式模型(如GANs、VAEs)在圖像合成方面取得的引人矚目的結果，計算機學者在時尚圖像合成領域也開展了廣泛的研究應用，如人體姿態引導的服裝圖像生成算法、文本引導的服裝圖像生成算法、基于圖像生成模型的虛擬試衣算法、基于圖像生成模型的服裝設計應用等。

人體姿態引導的服裝圖像生成算法為以人體姿態圖片為輸入條件，改變已有包含人物模特的服裝圖片，合成全新的服裝圖像，這張新生成的服裝圖像一方面需要保證人物模特的姿態與輸入姿態保持一致，另外一方面需要保證人物模特的衣物、外表等特征與原服裝圖片保持一致。文本引導的服裝圖像生成算法為以包含衣物特性語義的文本描述為輸入條件，改變已有包含人物模特的服裝圖片，合成全新的服裝圖像，這張新生成的服裝圖像一方面需要保證模特的衣物特征與輸入的文本描述在語義上保持一致，另外一方面需要保證人物模特的外表、姿態等特征與原服裝圖片保持一致。基于圖像生成模型的虛擬試衣算法為給定人物模特圖片和目標服裝圖片，他們先生成粗略的試衣結果圖，其中形變后的目標服裝被轉移到人物模特的正確區域上。基于圖像生成模型的服裝設計應用為通過顏色、紋理和形狀等信息來控制輸出服裝設計圖。本方法可以歸類為基于圖像生成模型的服裝設計應用，通過姿態和紋理信息控制生成多樣的時尚服裝設計圖，用于減輕設計師的工作，加快時尚產品的設計周期。

在姿態和紋理引導的時尚圖像生成任務上，現有的簡單的想法是直接應用標準的圖像到圖像轉換模型，如pix2pix和pix2pixHD來解決我們提出的問題。然而，這些方法本質上是學習從源圖像到目標圖像的映射。實驗結果證明，這并不能完成我們的任務。此外，我們的任務需要解決幾個具有挑戰性的問題。

1)引導姿態中包含信息過少

人體姿態通常用二維關節點表示，其中只包含人體關節點信息，不包含形狀信息，現有的方法難以從粗糙的姿態信息中推斷出人體結構和服裝結構。

2)紋理轉移實現的困難性

由于普通卷積網絡對于特征處理的局部性，現有的時尚圖像生成方法中不存在一個專門的紋理傳輸機制實現時尚圖像紋理的有效轉移。其次，由于服裝區域通常是不規則的，如何利用任意尺寸的紋理塊精確的轉移紋理到相應的服裝區域，合成自然逼真的時尚圖像也是一個挑戰。現有的時尚圖像生成方法實現的都是純色紋理的生成，無法實現對復雜紋理的有效轉移，普遍實現的是局部紋理的生成或者是不正確紋理的生成。

3)時尚服裝生成的多樣性局限

現有的時尚圖像生成方法普遍使用人體的姿態信息或人體的語義信息進行引導，服裝結構類型固定，無法生成與現實情況中各種服裝類別和時尚風格對應的時尚圖像。