[發明專利]高解析度風格遷移

在審

• 申請號: 201910161423.4
• 申請日: 2019-03-04
• 公開（公告）號: CN110555795A
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 張志飛;林哲;王兆聞
• 申請（專利權）人: 奧多比公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 11256 北京市金杜律師事務所
• 代理人: 酆迅

1.一種在數字媒體高解析度風格遷移環境中的、由至少一個計算設備實現的方法，所述方法包括：

由所述至少一個計算設備生成遷移圖像，所述遷移圖像包括來自通過將來自風格圖像的風格屬性的第一集合應用到輸入圖像而被轉換的所述輸入圖像的內容；

由所述至少一個計算設備從所述風格圖像的放大版本提取風格屬性的第二集合，所述風格屬性的第二集合具有比所述風格屬性的第一集合更高的視覺解析度；

由所述至少一個計算設備生成風格圖像特征圖和遷移圖像特征圖，所述風格圖像特征圖包括來自所述風格屬性的第二集合的風格特征，所述遷移圖像特征圖包括來自所述遷移圖像的放大版本的圖像特征；

由所述至少一個計算設備通過將來自所述風格圖像特征圖的風格特征與來自所述遷移圖像特征圖的圖像特征進行匹配，生成交換特征圖；以及

由所述至少一個計算設備基于所述交換特征圖，生成解析圖像，所述解析圖像包括比所述遷移圖像更高解析度的風格屬性。

2.根據權利要求1所述的方法，其中所述生成遷移圖像包括以下中的一項或多項：將來自所述風格圖像的顏色屬性應用到所述輸入圖像、或者將來自所述風格圖像的紋理屬性應用到所述輸入圖像，以生成所述遷移圖像。

3.根據權利要求1所述的方法，其中所述風格圖像的所述放大版本包括比所述原始風格圖像更高解析度的所述風格圖像的版本。

4.根據權利要求1所述的方法，其中所述提取所述風格屬性的第二集合包括從所述風格圖像的放大版本隨機地采樣補片，并且其中所述生成所述風格圖像特征圖包括將所述補片填充到所述風格圖像特征圖。

5.根據權利要求1所述的方法，還包括從所述遷移圖像的所述放大版本隨機地采樣補片，并且其中所述生成所述遷移圖像特征圖包括將所述補片填充到所述遷移圖像特征圖。

6.根據權利要求1所述的方法，其中所述生成所述風格圖像特征圖包括將來自所述風格圖像的所述放大版本的風格圖像補片填充到所述風格圖像特征圖，所述生成所述遷移圖像特征圖包括將來自所述遷移圖像的所述放大版本的遷移圖像補片填充到所述遷移圖像特征圖，并且其中所述生成所述交換特征圖包括將所述風格圖像補片與所述遷移圖像補片進行比較，以將來自所述風格圖像特征圖的風格特征與來自所述遷移圖像特征圖的圖像特征進行匹配。

7.根據權利要求1所述的方法，其中所述生成所述風格圖像特征圖包括將來自所述風格圖像的所述放大版本的風格圖像補片填充到所述風格圖像特征圖，所述生成所述遷移圖像特征圖包括將來自所述遷移圖像的所述放大版本的遷移圖像補片填充到所述遷移圖像特征圖，并且其中所述生成所述交換特征圖包括利用匹配的風格圖像補片替換遷移圖像補片以生成所述交換特征圖。

8.根據權利要求1所述的方法，其中所述生成所述風格圖像特征圖包括將來自所述風格圖像的所述放大版本的風格圖像補片填充到所述風格圖像特征圖，所述生成所述遷移圖像特征圖包括將來自所述遷移圖像的所述放大版本的遷移圖像補片填充到所述遷移圖像特征圖，并且其中所述生成所述交換特征圖包括分別計算所述風格圖像補片中的每個風格圖像補片與所述遷移圖像補片中的每個遷移圖像補片之間的內積，其中最高內積指示風格圖像補片與遷移圖像補片之間的匹配。

9.根據權利要求1所述的方法，其中所述生成所述解析圖像包括利用來自所述交換特征圖的特征替換來自所述遷移圖像的所述放大版本的特征，以生成所述解析圖像。

10.根據權利要求1所述的方法，其中所述生成所述解析圖像包括使用所述遷移圖像的所述放大版本和所述交換特征圖來訓練解析神經網絡，以輸出所述解析圖像。