[發明專利]一種人物服飾轉換方法及系統在審
| 申請號： | 202010143086.9 | 申請日： | 2020-03-04 |
| 公開（公告）號： | CN111476241A | 公開（公告）日： | 2020-07-31 |
| 發明（設計）人： | 宋利;張義誠;解蓉;張文軍 | 申請（專利權）人： | 上海交通大學 |
| 主分類號： | G06K9/34 | 分類號： | G06K9/34;G06N3/04;G06T11/60 |
| 代理公司： | 上海恒慧知識產權代理事務所(特殊普通合伙) 31317 | 代理人： | 徐紅銀 |
| 地址： | 200240 *** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 人物 服飾 轉換 方法 系統 | ||
本發明公開了一種人物服飾轉換方法及系統，該方法包括：根據輸入語句，對原圖的原始分割圖進行相應的形狀變化，將原始分割圖轉換成目標分割圖；利用第二級生成對抗網絡處理合成問題：將目標分割圖作為語義引導和形狀限制條件，連同輸入語句一起訓練生成器學習從原圖到目標圖片的多域映射，以合成目標圖片，完成人物服飾轉換；第二級生成網絡融合了：采用軟注意力層強化目標圖片與輸入語句的關聯性；采用自注意力層顯式地捕捉圖像上的遠距離相關性；采用風格化注意力層通過逐通道內積以及特征圖再校準，來建立特征之間的依賴關系。本發明的人物服飾轉換方法及系統，融合了三種注意力層，實現了高質量服飾生成。
技術領域
本發明涉及計算機視覺技術領域，特別涉及一種人物服飾轉換方法及系統。
背景技術
人物服飾轉換是計算機視覺領域極具挑戰性的一項任務，其目標是根據輸入的文字描述，來對原圖中的人物服飾進行相應轉換，同時保持人物的姿態、身份、體型等信息不變。這項人物具備相當廣泛的應用，可以擴展到照片編輯、電影制作、虛擬試衣等諸多新興應用場景中。盡管近年來生成對抗網絡已經在諸如人臉屬性轉換、妝容轉換等域遷移任務中取得了相當出色的表現，但是在人物服飾轉換任務上仍有很大的提升空間。
服飾轉換任務的挑戰性首先體現在任務自身的高難度，其核心問題在于兩方面：其一，輸入的語句描述中包含多種形態迥異的服裝款式和風格，比如短袖襯衫、無袖連衣裙、長袖夾克等，這就導致服飾轉換的過程中會出現顯著的形狀變化。其二，人物服裝涉及更多的紋理和顏色信息，而不是像人臉圖片那樣大多含有相似的膚色和五官組成，因此需要更細粒度的生成方法才能實現高質量的服飾轉換。
其次，現有方法難以滿足高質量的服飾轉換生成?，F有的人物服飾轉換方法仍采用傳統的全卷積生成器，這種網絡結構在捕捉長距離相關性上能力十分有限，無法滿足高質量生成的要求。不僅如此，現有方法將輸入語句的整體表征作為條件信息來訓練網絡，沒有充分利用到單詞層級的語義信息，因而不足以支撐細粒度的紋理和顏色生成。除此之外，由于人物服飾轉換可能會要求網絡進行大面積的推斷和想象，比如從長袖轉換到短袖時，網絡需要生成新的手臂部分，因此如何生成原圖中沒有的信息也是這項任務的一大難題，然而現有方法并沒有針對這個問題進行足夠深入的探索。
發明內容
本發明針對上述現有技術中存在的問題，提出一種人物服飾轉換方法及系統，融合了三種注意力層，實現了高質量服飾生成。
為解決上述技術問題，本發明是通過如下技術方案實現的：
本發明提供一種人物服飾轉換方法，其包括：
S11：利用第一級生成對抗網絡處理變形問題：根據輸入語句，對原圖的原始分割圖進行相應的形狀變化，將原始分割圖轉換成目標分割圖；
S12：利用第二級生成對抗網絡處理合成問題：將所述S11得到的目標分割圖作為語義引導和形狀限制條件，連同輸入語句一起訓練生成器學習從原圖到目標圖片的多域映射，以合成目標圖片，完成人物服飾轉換；
進一步地，所述第二級生成網絡同時融合了：
S121：采用軟注意力層強化目標分割圖與輸入語句的關聯性；
S122：采用自注意力層顯式地捕捉目標分割圖上的遠距離相關性；
S123：采用風格化注意力層通過逐通道內積以及特征圖再校準，來建立特征之間的依賴關系。
較佳地，所述S121進一步包括：利用軟注意力層接收兩個輸入：單詞嵌入矩陣w以及原特征圖x，通過計算上下文向量c組合得到軟注意力上下文特征圖csoft：
sji＝Wq(xj)TWk(wi)
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于上海交通大學，未經上海交通大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010143086.9/2.html，轉載請聲明來源鉆瓜專利網。
