[發明專利]基于人工智能的虛擬試穿方法、裝置、服務器及存儲介質

有效

• 申請號: 202010537767.3
• 申請日: 2020-06-12
• 公開（公告）號: CN111784845B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 梁小丹;謝震宇;董浩業;吳博文
• 申請（專利權）人: 騰訊科技（深圳）有限公司;中山大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06Q30/0601
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

1.一種基于人工智能的虛擬試穿方法，其特征在于，所述方法包括：

獲取源衣物圖像的至少一個第一關鍵點和至少一個第二關鍵點，所述至少一個第一關鍵點用于標識衣物邊緣的源位置，所述至少一個第二關鍵點為基于目標人物圖像對衣物進行變形后的所述至少一個第一關鍵點的目標位置；

根據所述至少一個第一關鍵點，在所述源衣物圖像中確定至少兩個衣物圖像塊；

根據所述至少一個第一關鍵點和至少一個第二關鍵點，分別對所述至少兩個衣物圖像塊進行變形，得到至少兩個變形衣物圖像塊；

確定目標衣物圖像塊對應的變形衣物圖像塊，與相鄰的衣物圖像塊對應的變形衣物圖像塊之間的縫隙區域，所述目標衣物圖像塊為包括衣物軀干區域的圖像塊；

基于所述目標衣物圖像塊對應的移動參數，獲取變形后的縫隙區域，所述移動參數為將所述第一關鍵點轉移到對應的第二關鍵點所需的參數；

將所述目標衣物圖像塊對應的變形衣物圖像塊、變形后的縫隙區域和所述相鄰的衣物圖像塊對應的變形衣物圖像塊進行拼接，得到所述變形衣物圖像；

基于所述目標人物圖像、所述變形衣物圖像，通過神經網絡模型，確定中間試穿效果圖像和衣物融合掩膜，所述中間試穿效果圖像為不包括衣物細節的試穿效果圖像，所述衣物融合掩膜用于表示所述變形衣物圖像的位置；

對所述衣物融合掩膜和所述中間試穿效果圖像進行卷積，得到第一卷積結果圖像；

基于所述衣物融合掩膜，確定目標形狀掩膜，將所述目標形狀掩膜和所述變形衣物圖像進行卷積，得到第二卷積結果圖像，所述目標形狀掩膜用于指示除所述變形衣物圖像所覆蓋部位外的人體部位的位置；

對所述第一卷積結果圖像和所述第二卷積結果圖像進行疊加，得到所述試穿效果圖像。

2.根據權利要求1所述的方法，其特征在于，所述根據所述至少一個第一關鍵點和至少一個第二關鍵點，分別對所述至少兩個衣物圖像塊進行變形，得到至少兩個變形衣物圖像塊包括：

對于所述至少兩個衣物圖像塊中任一個衣物圖像塊，確定所述衣物圖像塊中第一關鍵點的移動參數；

根據所述至少兩個衣物圖像塊的移動參數，對所述至少兩個衣物圖像塊分別進行變形，得到所述至少兩個變形衣物圖像塊。

3.根據權利要求1所述的方法，其特征在于，所述基于所述目標衣物圖像塊對應的移動參數，獲取變形后的縫隙區域包括：

按照所述目標衣物圖像塊對應的移動參數，對所述源衣物圖像進行變形；

從變形后的源衣物圖像中獲取變形后的縫隙區域。

4.根據權利要求1所述的方法，其特征在于，所述獲取源衣物圖像的至少一個第一關鍵點和至少一個第二關鍵點包括：

通過衣物關鍵點檢測器，提取所述源衣物圖像的至少一個關鍵點，作為所述至少一個第一關鍵點；

通過衣物關鍵點預測器，預測基于所述目標人物圖像對源衣物圖像變形后的所述源衣物圖像的至少一個關鍵點，作為所述至少一個第二關鍵點。

5.根據權利要求4所述的方法，其特征在于，所述通過衣物關鍵點預測器，預測基于所述目標人物圖像對源衣物圖像變形后的所述源衣物圖像的至少一個關鍵點包括：

從所述目標人物圖像中獲取對應的第一目標人物圖像，所述第一目標人物圖像為包括頭部和人體下半身的圖像；

根據所述目標人物圖像，確定目標人物姿勢；

將所述第一目標人物圖像、所述目標人物姿勢和所述源衣物圖像輸入所述衣物關鍵點預測器，通過所述衣物關鍵點預測器，確定基于所述目標人物圖像對源衣物圖像變形后的所述源衣物圖像的關鍵點。

6.根據權利要求1所述的方法，其特征在于，所述基于所述目標人物圖像、所述變形衣物圖像，通過神經網絡模型，確定中間試穿效果圖像和衣物融合掩膜包括：

根據所述目標人物圖像，提取目標人物的語義分割圖像，根據所述語義分割圖像構造人體形狀掩膜；

根據所述目標人物姿勢，獲取人物姿勢關鍵點；

將所述第一目標人物圖像、所述人物姿勢關鍵點、所述人體形狀掩膜和所述變形衣物圖像輸入至所述神經網絡模型，輸出所述中間試穿效果圖像和所述衣物融合掩膜。