[發明專利]一種基于姿勢引導的虛擬試穿方法及裝置

有效

• 申請號: 201910452735.0
• 申請日: 2019-05-28
• 公開（公告）號: CN110211196B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 劉東岳;宋雪萌;鄭娜;陳召崢;聶禮強;關惟俐
• 申請（專利權）人: 山東大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06K9/62;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

1.一種基于姿勢引導的虛擬試穿方法，其特征在于，包括：

提取并利用目標人體的姿勢關鍵點信息的特征和原人體體型的特征，預測目標人體的體型；

利用第一卷積神經網絡提取服裝的特征信息，利用第二卷積神經網絡提取預測的目標人體的體型與目標人體的姿勢關鍵點的級聯特征信息，計算出服裝與目標人體匹配的分數，基于該分數得到形變后的服裝；

將形變后的服裝特征信息及原始人體體型與目標人體姿勢關鍵點的級聯特征信息輸入至基于注意力機制的雙向生成對抗網絡，最終輸出試穿合成人像，所述試穿合成人像與原始人像可保持相同的數據分布；

具體步驟為：構建一個包含兩個編碼器和一個解碼器的生成器G，將利用第一卷積神經網絡得到的形變后的服裝T_θ(c)和原始人物圖像I_A與目標人體姿勢關鍵點P_B的級聯p輸入該生成器中，得到目標人物圖像

采用注意力機制來推動試穿網絡關注目標試穿區域，實現形變服裝與目標人體之間的無縫對齊；引入一個轉換層L₁，它的重點是生成粗糙的目標人物圖像使其作為模板；同時，設計了一個注意層L_A，用于生成與目標人體形狀相同的注意力掩碼A；根據和掩碼A，可以生成最終的目標人物圖像

其中⊙代表元素矩陣乘法；

由于期望試穿區域的注意力得分比其它區域的注意力得分高，因此使用L1對注意力部分進行正則化：

其中M代表真實圖像的試穿區域掩碼；TV代表L1范數TV正則化，用來以懲罰注意力掩碼A的梯度并確保空間平滑；λ_TV代表權衡非負超參數；

最后使用標準的GAN損失規范生成圖像與真實圖像I_B：

其中D代表生成對抗網絡中的鑒別器，p代表數據分布；

為了更好的捕捉圖像的像素特征以及邊緣、顏色和紋理特性，采用了L1損失和VGG19感知損失構建該部分的損失函數：

其中代表真實圖像的特征圖，用于某些預先訓練的CNN中的第i層，λ_i代表常系數；

將最終獲得的目標人物圖像和原人物的服裝輸入另一個生成器中，從而保證合成人像與原始人像保持相同的數據分布；

構造損失函數：

最后，整個試穿部分的損失函數可以表示為：

L＝λ_GL_GAN+λ_CycGL_CycG+λ_AttenL_Atten+λ_CONL_CON+λ_CycCL_CycC

其中λ_G、λ_CycG、λ_Atten、λ_CON和λ_CycC表示控制每個損失部分的相對重要性的超參數。

2.如權利要求1所述的一種基于姿勢引導的虛擬試穿方法，其特征在于，所述基于注意力機制的雙向生成對抗網絡包括兩個生成器，每個生成器均包含兩個編碼器和一個解碼器；每個生成器后均串接有并聯連接的轉換層和注意層。

3.如權利要求2所述的一種基于姿勢引導的虛擬試穿方法，其特征在于，輸出試穿合成人像的過程包括：

將形變后的服裝特征信息及原始人體體型與目標人體姿勢關鍵點的級聯特征信息輸入至一個生成器中，得到粗糙的目標人物圖像；

使用注意力機制對粗糙的目標人物圖像進行微調，并將最終獲得的目標人物圖像和原人物的服裝輸入另一個生成器中，從而保證合成人像與原始人像保持相同的數據分布。

4.如權利要求1所述的一種基于姿勢引導的虛擬試穿方法，其特征在于，采用編碼器-解碼器結構構建目標人體體型預測網絡。