[發(fā)明專利]圖像替換方法、裝置、計算機設備和存儲介質

有效

• 申請?zhí)枺?/td>: 202010186198.2
• 申請日: 2020-03-17
• 公開（公告）號: CN111402118B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設計）人: 吳銳正;陶鑫
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 華進聯(lián)合專利商標代理有限公司 44224
• 代理人: 董慧

1.一種圖像替換方法，所述方法包括：

獲取輸入圖像和參考圖像；

基于所述輸入圖像的語義特征，提取所述參考圖像的語義特征，得到所述參考圖像的參考特征圖，以及所述輸入圖像的輸入特征圖；

確定生成對抗神經網絡中的語義對齊模塊；所述語義對齊模塊包括高層語義對齊模塊、中層語義對齊模塊以及低層語義對齊模塊；

在所述高層語義對齊模塊中，根據(jù)所述輸入特征圖與所述參考特征圖進行圖像扭曲后進行特征對齊，得到高層光流圖；

在所述中層語義對齊模塊中，將所述高層光流圖進行優(yōu)化處理，得到中層光流圖，在所述低層語義對齊模塊中，將所述中層光流圖進行優(yōu)化處理，得到低層光流圖；

根據(jù)所述高層光流圖、所述中層光流圖、所述低層光流圖、以及所述參考特征圖，確定對齊特征圖；

基于所述輸入圖像的語義特征，將所述參考圖像對應的對齊特征圖進行語義融合，得到所述對齊特征圖對應的融合特征圖；

根據(jù)所述融合特征圖，將所述輸入圖像的輸入內容替換至所述參考圖像中，得到具有所述輸入內容的目標圖像。

2.根據(jù)權利要求1所述的方法，其特征在于，所述基于所述輸入圖像的語義特征，提取所述參考圖像的語義特征，得到所述參考圖像的參考特征圖，以及所述輸入圖像的輸入特征圖，包括：

基于生成對抗神經網絡中的分層編碼器，提取所述輸入圖像的語義特征，并根據(jù)所述輸入圖像的語義特征，提取所述參考圖像的語義特征，得到所述分層編碼器對應的輸入特征圖和參考特征圖。

3.根據(jù)權利要求1所述的方法，其特征在于，所述在所述高層語義對齊模塊中，根據(jù)所述輸入特征圖與所述參考特征圖進行圖像扭曲后進行特征對齊，得到高層光流圖，包括：

在所述高層語義對齊模塊中，根據(jù)所述輸入特征圖中的語義特征的所在位置，將所述參考特征圖中的語義特征扭曲至相應位置后進行特征對齊，得到高層光流圖。

4.根據(jù)權利要求1所述的方法，其特征在于，所述在所述中層語義對齊模塊中，將所述高層光流圖進行優(yōu)化處理，得到中層光流圖，包括：

通過所述中層語義對齊模塊，獲取所述高層光流圖；

將所述高層光流圖進行像素偏移處理，得到高層偏移光流圖；

根據(jù)所述高層偏移光流圖，對所述參考特征圖進行扭曲優(yōu)化，得到扭曲特征圖；

將所述扭曲特征圖與所述輸入特征圖進行語義對齊，并與所述高層偏移光流圖進行累加，得到所述中層光流圖。

5.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述高層光流圖、所述中層光流圖、所述低層光流圖、以及所述參考特征圖，確定所述對齊特征圖，包括：

根據(jù)所述高層光流圖、所述中層光流圖以及所述低層光流圖，分別對所述參考特征圖進行扭曲優(yōu)化，得到高層對齊特征圖、中層對齊特征圖以及低層對齊特征圖；

確定所述高層對齊特征圖、中層對齊特征圖以及低層對齊特征圖，作為所述對齊特征圖。

6.根據(jù)權利要求1所述的方法，其特征在于，所述基于所述輸入圖像的語義特征，將所述參考圖像對應的對齊特征圖進行語義融合，得到所述對齊特征圖對應的融合特征圖，包括：

基于所述輸入圖像的語義特征，確定所述輸入圖像的輸入特征圖；

將所述輸入特征圖與所述對齊特征圖進行特征融合，得到所述融合特征圖。

7.根據(jù)權利要求6所述的方法，其特征在于，所述對齊特征圖包括高層對齊特征圖、中層對齊特征圖以及低層對齊特征圖，所述將所述輸入特征圖與所述對齊特征圖進行特征融合，得到所述融合特征圖，包括：

基于生成對抗神經網絡中的融合模塊，分別計算所述輸入特征圖與所述高層對齊特征圖、中層對齊特征圖以及低層對齊特征圖之間的特征相似度；

根據(jù)所述特征相似度，分別對所述高層對齊特征圖、中層對齊特征圖以及低層對齊特征圖進行加權融合，得到高層融合特征圖、中層融合特征圖以及低層融合特征圖；

確定所述高層融合特征圖、所述中層融合特征圖以及所述低層融合特征圖，作為所述融合特征圖。