[發(fā)明專利]一種圖像超分辨率系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710293282.2
• 申請日: 2017-04-28
• 公開（公告）號: CN107103585B
• 公開（公告）日: 2020-09-11
• 發(fā)明（設(shè)計）人: 蔡念;張福;李飛洋;岑冠東;陳新度;王晗
• 申請（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開了一種圖像超分辨率系統(tǒng)，該系統(tǒng)包括特征提取模塊、細節(jié)預(yù)測模塊和重構(gòu)模塊，其中：特征提取模塊，用于對輸入的待進行分辨率提升的目標圖像進行特征提取，生成目標圖像對應(yīng)的特征圖；細節(jié)預(yù)測模塊，用于對輸入的目標圖像對應(yīng)的特征圖進行細節(jié)預(yù)測，獲得目標圖像丟失的細節(jié)圖像；重構(gòu)模塊，用于將目標圖像和細節(jié)圖像進行疊加操作，重構(gòu)目標圖像對應(yīng)的高分辨率圖。應(yīng)用本發(fā)明實施例所提供的技術(shù)方案，可以實現(xiàn)對多種不同情況的低分辨率圖像進行超分辨率操作的目的，具有較好的恢復(fù)效果。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機應(yīng)用技術(shù)領(lǐng)域，特別是涉及一種圖像超分辨率系統(tǒng)。

背景技術(shù)

隨著計算機技術(shù)的快速發(fā)展，圖像超分辨率技術(shù)也得到了快速發(fā)展。圖像超分辨率就是將低分辨率(Low Resolution，LR)的圖像通過一定的算法提升為高分辨率(HighResolution，HR)圖像。高分辨率圖像具有更高的像素密度，更多的細節(jié)信息，更細膩的畫質(zhì)。在實際應(yīng)用過程中，基于制作工藝和工程成本的考慮，很多場合不適合采用高分辨率相機進行圖像信號的采集。多數(shù)時候需要利用超分辨率技術(shù)將低分辨率圖像提升為高分辨率圖像。

現(xiàn)階段使用的卷積神經(jīng)網(wǎng)絡(luò)均由單一卷積核構(gòu)成，實現(xiàn)圖像超分辨率多為單一方式，僅能恢復(fù)一種情況的低分辨率圖像，對于不同分辨率情況的圖像則無法修復(fù)或者修復(fù)效果不佳。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種圖像超分辨率系統(tǒng)，以實現(xiàn)對多種不同情況的低分辨圖像進行超分辨率操作，具有較好的恢復(fù)效果。

為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

一種圖像超分辨率系統(tǒng)，包括特征提取模塊、細節(jié)預(yù)測模塊和重構(gòu)模塊，其中：

所述特征提取模塊，用于對輸入的待進行分辨率提升的目標圖像進行特征提取，生成所述目標圖像對應(yīng)的特征圖；

所述細節(jié)預(yù)測模塊，用于對輸入的所述目標圖像對應(yīng)的特征圖進行細節(jié)預(yù)測，獲得所述目標圖像丟失的細節(jié)圖像；

所述重構(gòu)模塊，用于將所述目標圖像和所述細節(jié)圖像進行疊加操作，重構(gòu)所述目標圖像對應(yīng)的高分辨率圖像。

在本發(fā)明的一種具體實施方式中，所述特征提取模塊包括多個預(yù)先訓(xùn)練得到的網(wǎng)絡(luò)分支，每個網(wǎng)絡(luò)分支分別由多個多尺度特征圖映射結(jié)構(gòu)級聯(lián)構(gòu)成，每個多尺度特征圖映射結(jié)構(gòu)分別由多個卷積核并聯(lián)構(gòu)成。

在本發(fā)明的一種具體實施方式中，所述特征提取模塊包括并聯(lián)的第一網(wǎng)絡(luò)分支和第二網(wǎng)絡(luò)分支。

在本發(fā)明的一種具體實施方式中，所述第一網(wǎng)絡(luò)分支包括的每個第一多尺度特征圖映射結(jié)構(gòu)為3×3卷積核與1×1卷積核并聯(lián)構(gòu)成。

在本發(fā)明的一種具體實施方式中，所述第二網(wǎng)絡(luò)分支包括的每個第二多尺度特征圖映射結(jié)構(gòu)為5×5卷積核與1×1卷積核并聯(lián)構(gòu)成。

在本發(fā)明的一種具體實施方式中，所述細節(jié)預(yù)測模塊包括第三多尺度特征圖映射結(jié)構(gòu)、第一卷積操作和第二卷積操作。

在本發(fā)明的一種具體實施方式中，所述第三多尺度特征圖映射結(jié)構(gòu)為3×3卷積核與5×5卷積核并聯(lián)構(gòu)成。

在本發(fā)明的一種具體實施方式中，所述第一卷積操作的卷積核為9×9卷積核。

在本發(fā)明的一種具體實施方式中，所述第二卷積操作的卷積核為5×5卷積核。

應(yīng)用本發(fā)明實施例所提供的技術(shù)方案，特征提取模塊對輸入的待進行分辨率提升的目標圖像進行特征提取，生成目標圖像對應(yīng)的特征圖，細節(jié)預(yù)測模塊對輸入的目標圖像對應(yīng)的特征圖進行細節(jié)預(yù)測，獲得目標圖像丟失的細節(jié)圖像，重構(gòu)模塊將目標圖像和細節(jié)圖像進行疊加操作，重構(gòu)目標圖像對應(yīng)的高分辨率圖像，輸入到細節(jié)預(yù)測模塊的是特征提取模塊生成的多個尺度的特征圖，可以實現(xiàn)對多種不同情況的低分辨率圖像進行超分辨率操作的目的，具有較好的恢復(fù)效果。