[發(fā)明專利]使用卷積神經(jīng)網(wǎng)絡(luò)的超分辨率

在審

• 申請?zhí)枺?/td>: 202080093007.6
• 申請日: 2020-02-17
• 公開（公告）號: CN114945935A
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計）人: 蔡曉霞;王晨;竇環(huán);邱怡仁;徐理東
• 申請（專利權(quán)）人: 英特爾公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 陳蒙

1.一種用于超分辨率成像的裝置，包括：

卷積神經(jīng)網(wǎng)絡(luò)，用于接收低分辨率幀并且生成高分辨率亮度分量幀；

硬件縮放器，用于接收所述低分辨率幀并且生成高分辨率色度分量幀；以及

組合器，用于將所述高分辨率亮度分量幀和所述高分辨率色度分量幀相組合，以生成高分辨率幀。

2.如權(quán)利要求1所述的裝置，其中，所述卷積神經(jīng)網(wǎng)絡(luò)在額外的訓(xùn)練幀對上被訓(xùn)練，所述額外的訓(xùn)練幀對被生成為包括增強部分，所述增強部分是使用高分辨率地面實況訓(xùn)練幀的最近鄰降采樣來生成的。

3.如權(quán)利要求1所述的裝置，其中，所述卷積神經(jīng)網(wǎng)絡(luò)是使用自相似性損失函數(shù)來訓(xùn)練的。

4.如權(quán)利要求1所述的裝置，其中，所述卷積神經(jīng)網(wǎng)絡(luò)包括基于增強型深度超分辨率的小尺度網(wǎng)絡(luò)。

5.如權(quán)利要求1所述的裝置，其中，所述卷積神經(jīng)網(wǎng)絡(luò)包括參數(shù)化修正線性單元(PReLU)激活。

6.如權(quán)利要求1-5的任何組合所述的裝置，其中，所述卷積神經(jīng)網(wǎng)絡(luò)用于在訓(xùn)練期間從低分辨率訓(xùn)練幀生成重建的高分辨率幀，其中，所述重建的高分辨率幀和地面實況高分辨率幀被用于計算損失，該損失被用于訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)。

7.如權(quán)利要求1-5的任何組合所述的裝置，包括：基于CNN的降采樣器，用于對重建的高分辨率幀進行降采樣，以用于訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)。

8.如權(quán)利要求1-5的任何組合所述的裝置，包括：自相似性損失計算器，用于基于從重建的高分辨率幀生成的基于CNN的降采樣幀、以及通過對高分辨率地面實況幀進行降尺度生成的低分辨率訓(xùn)練幀，來計算自相似性損失。

9.如權(quán)利要求1-5的任何組合所述的裝置，包括：最終損失計算器，用于基于損失和自相似性損失來計算最終損失，所述最終損失被用于在訓(xùn)練期間訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)。

10.如權(quán)利要求1-5的任何組合所述的裝置，其中，所述卷積神經(jīng)網(wǎng)絡(luò)的特征圖譜大小被優(yōu)化來改善緩存局部性。

11.一種用于超分辨率成像的方法，包括：

經(jīng)由處理器接收低分辨率幀；

經(jīng)由卷積神經(jīng)網(wǎng)絡(luò)(CNN)基于所述低分辨率幀生成高分辨率亮度分量幀；

經(jīng)由硬件縮放器基于所述低分辨率幀生成高分辨率色度分量幀；以及

經(jīng)由所述處理器將所述高分辨率亮度分量幀和所述高分辨率色度分量幀相組合，以生成高分辨率幀。

12.如權(quán)利要求11所述的方法，包括：使用高分辨率地面實況訓(xùn)練幀的最近鄰降采樣來訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)。

13.如權(quán)利要求11所述的方法，包括：使用自相似性損失函數(shù)來訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)。

14.如權(quán)利要求11所述的方法，其中，生成所述高分辨率亮度分量幀包括：使用具有化簡的殘差塊組的CNN。

15.如權(quán)利要求11所述的方法，其中，生成所述高分辨率亮度分量幀包括：使用具有參數(shù)化修正線性單元(PReLU)激活的CNN。

16.如權(quán)利要求11-15的任何組合所述的方法，包括：使所述卷積神經(jīng)網(wǎng)絡(luò)的特征圖譜大小適應(yīng)于所述低分辨率幀的分辨率。

17.如權(quán)利要求11-15的任何組合所述的方法，包括：基于所述處理器可用的存儲器帶寬來調(diào)整所述卷積神經(jīng)網(wǎng)絡(luò)中的特征圖譜的數(shù)目。