[發明專利]用于生成輸出圖像的方法和系統

有效

• 申請號: 201880004376.6
• 申請日: 2018-02-26
• 公開（公告）號: CN109997168B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: N.E.卡爾奇布倫納;D.貝洛夫;S.戈梅茲科爾梅納勒約;A.G.A.范登奧德;Z.王;J.F.戈梅斯德弗雷塔斯;S.E.里德
• 申請（專利權）人: 淵慧科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

一種生成具有N像素×N像素的輸出分辨率的輸出圖像的方法，輸出圖像中的每個像素具有多個顏色通道中的每一個的相應顏色值，該方法包括：獲得輸出圖像的低分辨率版本；通過重復執行以下操作，升級輸出圖像的低分辨率版本以生成具有輸出分辨率的輸出圖像：獲得具有當前K×K分辨率的輸出圖像的當前版本；使用特定于當前分辨率的卷積神經網絡集合處理輸出圖像的當前版本，以生成具有2K×2K分辨率的輸出圖像的更新版本。

相關申請的交叉引用

本申請要求2017年2月24日提交的美國臨時申請序列號62/463,538的優先權。該在先申請的公開內容被認為是本申請的公開內容的一部分，并且通過引用并入本申請的公開內容中。

技術領域

本說明書涉及使用神經網絡生成圖像，更具體地，涉及多尺度圖像生成。

背景技術

神經網絡是機器學習模型，其使用一個或多個非線性單元層來預測針對接收輸入的輸出。除了輸出層之外，一些神經網絡還包括一個或多個隱藏層。每個隱藏層的輸出用作網絡中下一層即下一個隱藏層或輸出層的輸入。網絡的每個層根據相應參數集的當前值從接收的輸入生成輸出。

發明內容

本說明書描述了使用多個卷積神經網絡集合生成輸出圖像的系統和方法。

通常，本說明書中描述的主題的一個創新方面可以體現在生成具有N像素×N像素的輸出分辨率的輸出圖像的計算機實施的方法中，其中輸出圖像中的每個像素具有多個顏色通道中的每一個的相應顏色值。該方法包括獲得輸出圖像的低分辨率版本；通過重復執行以下操作，升級(upscale)輸出圖像的低分辨率版本以生成具有輸出分辨率的輸出圖像：獲得具有當前K×K分辨率的輸出圖像的當前版本；使用特定于當前分辨率的卷積神經網絡集合處理輸出圖像的當前版本，以生成具有2K×2K分辨率的輸出圖像的更新版本。

前述和其他實施例可以各自可選地單獨地或組合地包括以下特征中的一個或多個。

獲得低分辨率版本可以包括使用圖像生成機器學習模型生成低分辨率版本。圖像生成機器學習模型可以是自回歸圖像生成機器學習模型。輸出圖像可以以輸入上下文(context)為條件，并且其中圖像生成機器學習模型被配置為以輸入上下文為條件生成低分辨率版本。每個卷積神經網絡集合中的每個卷積神經網絡可以以輸入上下文為條件。

特定于當前分辨率的卷積神經網絡集合可以包括其中包括兩個或更多個卷積神經網絡(convolutional?neural?network，CNN)的CNN集合，其用于使分辨率變為四倍。特定于當前分辨率的卷積神經網絡集合可以包括：第一卷積神經網絡，其被配置為接收包括圖像的當前版本的第一輸入并生成包括來自輸出圖像的K×2K版本的像素列的第一輸出圖像；以及第二卷積神經網絡，其被配置為接收包括輸出圖像的K×2K版本的第二輸入并生成包括來自輸出圖像的2K×2K版本的像素行的第二輸出圖像。

使用特定于當前分辨率的卷積神經網絡集合處理輸出圖像的當前版本以生成更新版本可以包括：使用第一卷積神經網絡處理當前版本以生成第一輸出圖像；通過合并當前版本和第一輸出圖像來生成K×2K版本；使用第二卷積神經網絡處理K×2K版本以生成第二輸出圖像；并通過合并K×2K版本和第二輸出圖像來生成2K×2K版本。

合并當前版本和第一輸出圖像可以包括通過將來自當前版本的像素列與來自第一輸出圖像的像素列交替，生成包括來自當前圖像的K列像素和來自第一輸出圖像的K列像素的K×2K圖像。

合并K×2K版本和第二輸出圖像可以包括通過將來自K×2K版本的像素行與來自第二輸出圖像的像素行交替，生成包括來自K×2K版本的K行像素和來自第二輸出圖像的K行像素的2K×2K圖像。