[發明專利]用于生成輸出圖像的方法和系統

有效

• 申請號: 201880004376.6
• 申請日: 2018-02-26
• 公開（公告）號: CN109997168B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: N.E.卡爾奇布倫納;D.貝洛夫;S.戈梅茲科爾梅納勒約;A.G.A.范登奧德;Z.王;J.F.戈梅斯德弗雷塔斯;S.E.里德
• 申請（專利權）人: 淵慧科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

1.一種生成具有輸出分辨率的輸出圖像的方法，所述輸出圖像中的每個像素具有一個或多個通道中的每一個通道的相應值，所述方法包括：

獲得所述輸出圖像的低分辨率版本；以及

通過重復執行以下操作，升級所述輸出圖像的低分辨率版本以生成具有輸出分辨率的輸出圖像直到獲得具有輸出分辨率的圖像：

獲得具有當前分辨率的輸出圖像的當前版本；以及

使用特定于當前分辨率的卷積神經網絡集合處理所述輸出圖像的當前版本，以生成具有比當前分辨率更高的更新分辨率的輸出圖像的更新版本，其中，特定于當前分辨率的卷積神經網絡集合包括：

第一卷積神經網絡，被配置為接收包括所述圖像的當前版本的第一輸入，并生成包括來自所述輸出圖像的中間版本的像素列的第一輸出圖像，所述輸出圖像具有比當前分辨率高但比更新分辨率低的中間分辨率；以及

第二卷積神經網絡，被配置為接收包括所述輸出圖像的中間版本的第二輸入，并生成包括來自所述輸出圖像的更新版本的像素行的第二輸出圖像。

2.如權利要求1所述的方法，其中，獲得所述低分辨率版本包括：

使用圖像生成機器學習模型生成所述低分辨率版本。

3.如權利要求2所述的方法，其中，所述圖像生成機器學習模型是自回歸圖像生成機器學習模型。

4.如權利要求3所述的方法，其中，所述輸出圖像以輸入上下文為條件，并且其中，所述圖像生成機器學習模型被配置為以所述輸入上下文為條件生成所述低分辨率版本。

5.如權利要求4所述的方法，其中，每個卷積神經網絡集合中的每個卷積神經網絡以所述輸入上下文為條件。

6.如權利要求1所述的方法，其中，使用特定于當前分辨率的卷積神經網絡集合處理所述輸出圖像的當前版本以生成所述輸出圖像的更新版本包括：

使用所述第一卷積神經網絡處理所述輸出圖像的當前版本以生成所述第一輸出圖像；

通過合并所述當前版本和所述第一輸出圖像來生成所述中間版本；

使用所述第二卷積神經網絡處理所述中間版本以生成所述第二輸出圖像；以及

通過合并所述中間版本和所述第二輸出圖像來生成所述更新版本。

7.如權利要求6所述的方法，其中，合并所述當前版本和所述第一輸出圖像包括：

通過將來自所述當前版本的像素列與來自所述第一輸出圖像的像素列交替，生成包括來自所述當前版本的K列像素和來自所述第一輸出圖像的K列像素的中間圖像。

8.如權利要求6所述的方法，其中合并所述中間版本和所述第二輸出圖像包括：

通過將來自所述中間版本的像素行與來自所述第二輸出圖像的像素行交替，生成包括來自所述中間版本的多行像素和來自所述第二輸出圖像的多行像素的更新圖像。

9.如權利要求6所述的方法，

其中，根據通道順序對所述一個或多個通道進行排序，

其中，所述第一卷積神經網絡被配置為，對于每個通道：

以(i)所述當前版本和(ii)所述第一輸出圖像中的像素對于按所述通道順序在所述通道之前的任何通道的值為條件，并且不以(iii)所述第一輸出圖像中的像素對于按通道順序在通道之后的任何通道的值為條件，為所述第一輸出圖像中的像素生成所述通道的值，并且

其中，所述第二卷積神經網絡被配置為，對于每個通道：

以(i)所述中間版本和(ii)所述第二輸出圖像中的像素對于按所述通道順序在所述通道之前的任何通道的值為條件，并且不以(iii)所述第二輸出圖像中的像素對于按所述通道順序在所述通道之后的任何通道的值為條件，為所述第二輸出圖像中的像素生成所述通道的值。