[發明專利]一種人物服飾轉換方法及系統

在審

• 申請號: 202010143086.9
• 申請日: 2020-03-04
• 公開（公告）號: CN111476241A
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 宋利;張義誠;解蓉;張文軍
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04;G06T11/60
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種人物服飾轉換方法，其特征在于，包括：

S11：利用第一級生成對抗網絡處理變形問題：根據輸入語句，對原圖的原始分割圖進行相應的形狀變化，將原始分割圖轉換成目標分割圖；

S12：利用第二級生成對抗網絡處理合成問題：將所述S11得到的目標分割圖作為語義引導和形狀限制條件，連同輸入語句一起訓練生成器學習從原圖到目標圖片的多域映射，以合成目標圖片，完成人物服飾轉換；

所述第二級生成對抗網絡同時融合了：

S121：采用軟注意力層強化目標分割圖與輸入語句的關聯性；

S122：采用自注意力層顯式地捕捉目標分割圖上的遠距離相關性；

S123：采用風格化注意力層通過逐通道內積以及特征圖再校準，來建立特征之間的依賴關系。

2.根據權利要求1所述的人物服飾轉換方法，其特征在于，所述S121進一步包括：利用軟注意力層接收兩個輸入：單詞嵌入矩陣w以及原特征圖x，通過計算上下文向量c組合得到軟注意力上下文特征圖c_soft：

s_ji＝W_q(x_j)^TW_k(w_i)

c_soft＝concat(c₁,c₂,…,c_j,…,c_N)

其中，W_q,W_k,W_v均為卷積層參數，β為注意力權重。

3.根據權利要求2所述的人物服飾轉換方法，其特征在于，所述S122進一步包括：用卷積層將原特征圖x映射到多個特征空間中，用內積的方式計算不同子區域之間的相關性，以此表示為注意力權重，最終經過加權求和得到自注意力上下文特征圖c_self。

4.根據權利要求1所述的人物服飾轉換方法，其特征在于，S123進一步包括：計算原特征圖x的格拉姆矩陣，用softmax函數對其做歸一化，隨后通過所有通道的加權求和對特征進行再校準，最終得到風格化注意力上下文特征圖c_style：

c_style＝concat(f₁,f₂,…,f_C)

其中，G為格拉姆矩陣，α為注意力權重，F為特征圖，f為上下文向量。

5.根據權利要求1所述的人物服飾轉換方法，其特征在于，所述S11進一步包括：

訓練一生成器來近似一映射函數，在以目標句表征向量為條件下，通過所述映射函數將原始分割圖轉換成目標分割圖；進一步地，

所述S11的訓練過程中包括：將目標句表征向量與殘差塊后得到的分割圖特征結合，然后送往上采樣階段。

6.根據權利要求1至5任一項所述的人物服飾轉換方法，其特征在于，所述S11以及S12中還包括：穩定訓練策略，對所述第一級生成對抗網絡以及第二級生成對抗網絡中的每一層的權重矩陣分別進行譜歸一化。