[發明專利]一種基于姿勢引導的虛擬試穿方法及裝置

有效

• 申請號: 201910452735.0
• 申請日: 2019-05-28
• 公開（公告）號: CN110211196B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 劉東岳;宋雪萌;鄭娜;陳召崢;聶禮強;關惟俐
• 申請（專利權）人: 山東大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06K9/62;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

本公開提供了一種基于姿勢引導的虛擬試穿方法及裝置。其中，一種基于姿勢引導的虛擬試穿方法，包括提取并利用目標人體的姿勢關鍵點信息的特征和原人體體型的特征，預測目標人體的體型；利用第一卷積神經網絡提取服裝的特征信息，利用第二卷積神經網絡提取預測的目標人體的體型與目標人體的姿勢關鍵點的級聯特征信息，計算出服裝與目標人體匹配的分數，基于該分數得到形變后的服裝；將形變后的服裝特征信息及原始人體體型與目標人體姿勢關鍵點的級聯特征信息輸入至基于注意力機制的雙向生成對抗網絡，最終輸出試穿合成人像，所述試穿合成人像與原始人像可保持相同的數據分布。

技術領域

本公開屬于虛擬試穿領域，尤其涉及一種基于姿勢引導的虛擬試穿方法及裝置。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

近年來隨著多媒體技術的發展，在線虛擬試穿任務的研究越來越受到重視。通常，傳統的在線虛擬試穿系統主要基于計算機圖形學對人體或者衣服進行3D建模，但是3D建模通常需要使用昂貴的掃描儀設備，這對于很多普通人來說是不可行的。

在線購物平臺中的衣服通常是平整的，不能夠和人的體型相匹配。對衣服進行合理的幾何彎曲，使得衣服能夠跟消費者的體型進行自適應匹配，從而能夠試穿任務得以簡化，并且能夠盡可能的保留衣服的紋理和顏色信息。目前的衣服彎曲工作主要是匹配目標人體體型特征，根據匹配的分數來預測一系列的彎曲參數，利用這些彎曲參數對衣服使用薄板樣條插值進行合理的變形。但是由于姿勢的變化，目標的人體的體型輪廓無從得知。在生成最終的試穿效果時，一方面希望盡可能的保留衣服的紋理和顏色特征，另一方面，希望不合理的衣服變形以及衣領邊界被遺忘。

發明人發現，現有的，在線虛擬試穿方法存在以下問題：

1)姿勢變換會帶來輸入和輸出的空間不匹配，無法保證在轉換姿勢的同時，一方面衣服能夠合理地覆蓋在目標人體身上，另一方面保持除了試穿區域以外的其他區域人物特征。

2)沒有任何額外的體型的輸入，且目標人體的體型無從得知，穿在人體身上的衣服無法根據目標人體進行相應變形。

3)衣領部分僵硬的蓋在人體身上，使得生成的試穿效果不自然、僵硬。

發明內容

為了解決上述問題，本公開的第一個方面提供一種基于姿勢引導的虛擬試穿方法，其基于注意力機制的雙向生成對抗網絡，能夠有效規范服裝和人體之間的對齊和生成一致性，提高虛擬試穿的效果。

為了實現上述目的，本公開采用如下技術方案：

一種基于姿勢引導的虛擬試穿方法，包括：

提取并利用目標人體的姿勢關鍵點信息的特征和原人體體型的特征，預測目標人體的體型；

利用第一卷積神經網絡提取服裝的特征信息，利用第二卷積神經網絡提取預測的目標人體的體型與目標人體的姿勢關鍵點的級聯特征信息，計算出服裝與目標人體匹配的分數，基于該分數得到形變后的服裝；

將形變后的服裝特征信息及原始人體體型與目標人體姿勢關鍵點的級聯特征信息輸入至基于注意力機制的雙向生成對抗網絡，最終輸出試穿合成人像，所述試穿合成人像與原始人像可保持相同的數據分布。

為了解決上述問題，本公開的第二個方面提供一種基于姿勢引導的虛擬試穿裝置，其基于注意力機制的雙向生成對抗網絡，能夠有效規范服裝和人體之間的對齊和生成一致性，提高虛擬試穿的效果。

為了實現上述目的，本公開采用如下技術方案：

一種基于姿勢引導的虛擬試穿裝置，包括：

預測目標人體體型模塊，其用于提取并利用目標人體的姿勢關鍵點信息的特征和原人體體型的特征，預測目標人體的體型；