[發明專利]用于基于切片圖像升級分辨率的裝置和方法

在審

• 申請號: 202110332433.7
• 申請日: 2021-03-29
• 公開（公告）號: CN113538326A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 宋秉哲;崔東玧;樸志胤
• 申請（專利權）人: 硅工廠股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 劉久亮;黃綸偉

本申請涉及用于基于切片圖像升級分辨率的裝置和方法。本公開提供了用于基于切片圖像升級分辨率的裝置，其中將低分辨率圖像劃分成多個切片圖像以使得生成高分辨率的圖像。裝置包括：卷積運算單元，其被配置為使用卷積神經網絡將低分辨率的輸入切片圖像轉換為高分辨率的輸出切片圖像。卷積神經網絡包括：級聯塊，其被配置為對從低分辨率的輸入切片圖像生成的輸入特征圖執行使用具有預定大小的卷積過濾器的卷積運算和殘差運算以生成輸出特征圖；以及升級塊，其被配置為升級輸出特征圖以生成高分辨率的輸出切片圖像。

技術領域

本公開涉及圖像處理，并且更具體地涉及用于增加圖像的分辨率的技術。

背景技術

近來，發布了能夠輸出高達超出4K分辨率(其是超高清(UHD)分辨率)的8K分辨率的圖像的顯示裝置。然而，與顯示裝置的分辨率相比，常規的廣播內容和視頻內容僅以2K或4K分辨率產生，因此正在開發用于將低分辨率(LR)圖像轉換為高分辨率(HR)圖像的技術。

作為圖像轉換技術的示例，已經提出了單圖像超分辨率(SISR)技術。SISR是指用于生成與單個LR圖像相對應的HR圖像的技術。具體地，近來，隨著深度學習技術的發展，使用卷積神經網絡(CNN)的SISR技術是常見的。

然而，常規的基于CNN的SISR算法具有許多層和過濾器，因此存在常規的基于CNN的SISR算法不適用于片上系統(SoC)實現的局限性，因為存儲器的數量和計算量不可避免地增加。

發明內容

本公開被設計以解決上述問題并且用于提供用于基于切片圖像來升級(upscaling)分辨率的裝置和方法，其中低分辨率的圖像被劃分為多個切片圖像，從而生成高分辨率的圖像。

本公開還用于提供用于基于切片圖像來升級分辨率的裝置和方法，其中通過調整卷積過濾器的大小來減小垂直感受野的大小。

本公開還用于提供用于基于切片圖像來升級分辨率的裝置和方法，其中當訓練神經網絡時，使用基于原始圖像中的像素之間的相似度以及輸出圖像中的像素之間的相似度的損失函數來調整卷積過濾器的參數。

本公開的一個方面提供了用于基于切片圖像來升級分辨率的裝置，該裝置包括卷積運算單元，其被配置為使用卷積神經網絡將低分辨率的輸入切片圖像轉換為高分辨率的輸出切片圖像。卷積神經網絡包括：級聯塊(cascading block)，其被配置為對從低分辨率的輸入切片圖像生成的輸入特征圖執行使用具有預定大小的卷積過濾器的卷積運算和殘差運算以生成輸出特征圖；以及升級塊，其被配置為升級輸出特征圖以生成高分辨率的輸出切片圖像。

本公開的另一方面提供了一種基于切片圖像來升級分辨率的方法，該方法包括：對低分辨率的輸入圖像進行劃分并且獲取多個低分辨率的輸入切片圖像；對通過卷積神經網絡從低分辨率的輸入切片圖像生成的輸入特征圖執行使用具有預定大小的卷積過濾器的卷積運算和殘差運算并且生成輸出特征圖；升級輸出特征圖并且生成高分辨率的輸出切片圖像；以及依次連結與低分辨率的輸入切片圖像相對應的高分辨率的輸出切片圖像并且生成高分辨率的輸出圖像。

附圖說明

附圖被包括以提供對本公開的進一步理解并且并入本申請并構成本申請的一部分，其例示了本公開的實施方式并且與說明書一起用于解釋本公開的原理。在附圖中：

圖1是例示根據本公開的實施方式的用于基于切片圖像來升級分辨率的裝置的配置的示意框圖；

圖2是例示根據本公開的其中通過卷積網絡將低分辨率的輸入切片圖像升級到高分辨率的輸出切片圖像的過程的概念圖；

圖3是例示圖1所示的卷積網絡的配置的示意圖；

圖4是例示圖3所示的級聯塊的配置的框圖；

圖5A是例示圖4所示的第一殘差塊的配置的框圖；

圖5B是例示圖4所示的第二殘差塊的配置的框圖；