[發明專利]風格化輸入圖像

有效

• 申請號: 201780065307.1
• 申請日: 2017-10-20
• 公開（公告）號: CN109863537B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: J.什倫斯;V.杜牟林;M.K.文卡塔克里什納
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06T11/00
• 分類號: G06T11/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種計算機實現的用于處理圖像的方法，包括：

由計算系統維護指定一組圖像風格中的每個圖像風格的相應參數值的數據；

響應于由所述計算系統接收包括輸入圖像和識別要被應用于所述輸入圖像以生成處于輸入風格的風格化圖像的輸入風格的數據的輸入：

由所述計算系統從所維護的數據確定所述輸入風格的參數值；以及

由所述計算系統通過使用風格遷移神經網絡處理所述輸入圖像來生成風格化圖像，所述風格遷移神經網絡被配置為處理所述輸入圖像以生成所述風格化圖像，

其中，所述風格遷移神經網絡包括第一神經網絡層、第二神經網絡層、以及所述第一神經網絡層和所述第二神經網絡層之間的條件實例標準化層，其中，所述條件實例標準化層被配置為在由所述風格遷移神經網絡處理所述輸入圖像期間：

接收第一神經網絡層生成的第一層輸出，

根據條件實例標準化層參數的當前值對第一層輸出進行變換以生成條件實例標準化層輸出，以及

提供所述條件實例標準化層輸出作為第二神經網絡層的輸入；以及其中，生成所述風格化圖像包括：為了通過所述風格遷移神經網絡處理所述輸入圖像，將所述條件實例標準化層參數的所述當前值設置為所述輸入風格的所述參數值。

2.根據權利要求1所述的方法，其中，為了通過所述風格遷移神經網絡處理所述輸入圖像，將所述條件實例標準化層參數的所述當前值設置為所述輸入風格的所述參數值包括：

為了通過所述風格遷移神經網絡處理所述輸入圖像，將所述條件實例標準化層參數的所述當前值設置為所述輸入風格的所述參數值，而不修改第一神經網絡層和第二神經網絡層的參數值。

3.根據權利要求1或2中任一項所述的方法，還包括：

由所述計算設備提供所述風格化圖像用于向用戶呈現。

4.根據權利要求3所述的方法，其中，所述計算設備是移動設備，并且其中，所述風格遷移神經網絡在所述移動設備上實現。

5.根據權利要求1-2中任一項所述的方法，其中，根據所述條件實例標準化層參數的所述當前值對第一層輸出進行變換以生成所述條件實例標準化層輸出包括：

對第一層輸出進行標準化以生成標準化層輸出；以及

根據所述條件實例標準化層參數的所述當前值對所述標準化層輸出進行變換以生成所述條件實例標準化層輸出。

6.根據權利要求5所述的方法，其中，對第一層輸出進行標準化以生成標準化層輸出包括：對于第一層輸出的每個深度維度：

確定第一層輸出在第一層輸出的空間維度上的分量的標準化統計量；以及

使用所述標準化統計量來對第一層輸出的所述分量進行標準化。

7.根據權利要求6所述的方法，其中，對所述標準化層輸出進行變換包括：

根據縮放條件實例標準化層參數的當前值對所述標準化層輸出進行縮放以生成縮放的標準化層輸出；以及

根據移位條件實例標準化層參數的當前值對所述縮放的標準化層輸出進行移位以生成所述條件實例標準化層輸出。

8.根據權利要求1-2中任一項所述的方法，其中，從所維護的數據確定所述輸入風格的參數值包括：

確定所述輸入風格是來自所述一組圖像風格中的特定圖像風格；以及

將所述特定圖像風格的參數值指定為所述輸入風格的參數值。

9.根據權利要求8所述的方法，其中，接收所述輸入包括：

接收識別所述特定圖像風格的用戶輸入。

10.根據權利要求1-2中任一項所述的方法，其中，所述輸入風格是來自所述一組圖像風格的兩個或更多個圖像風格的組合，并且其中從所維護的數據確定所述輸入風格的參數值包括：

組合所述兩個或更多個圖像風格的相應參數值以確定所述輸入風格的參數值。