[發(fā)明專利]圖像超分辨率方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810147781.5
• 申請(qǐng)日: 2018-02-11
• 公開（公告）號(hào): CN108288251A
• 公開（公告）日: 2018-07-17
• 發(fā)明（設(shè)計(jì)）人: 黃哲;肖志林
• 申請(qǐng)（專利權(quán)）人: 深圳創(chuàng)維-RGB電子有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

本發(fā)明公開了一種圖像超分辨率方法，通過獲取待處理圖像，對(duì)所述待處理圖像進(jìn)行放大處理，并提取尺度縮放特征，得到經(jīng)尺度縮放特征提取后的第一待處理圖像；然后發(fā)送所述第一待處理圖像至殘差網(wǎng)絡(luò)，以供所述殘差網(wǎng)絡(luò)輸出修正后的第二待處理圖像；之后對(duì)所述第二待處理圖像進(jìn)行還原處理，生成還原圖像并輸出。本發(fā)明還公開了一種圖像超分辨率裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明增加了不同放大倍率預(yù)處理，將依賴放大倍率的模塊部分與主網(wǎng)絡(luò)分開，使大部分不依賴放大倍率的參數(shù)可以在不同放大倍率下共享網(wǎng)絡(luò)訓(xùn)練結(jié)果，增加模型通用性至可適用于8K電視的超分辨率應(yīng)用需求。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像超分辨率方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

如今，高分辨率顯示屏幕正在家庭影音設(shè)備和移動(dòng)設(shè)備上普及，因此人們對(duì)于高質(zhì)量的圖像或視頻的需求日益加大。高質(zhì)量的圖像或視頻有助于人們獲取更加豐富和準(zhǔn)確的信息，其中，分辨率是一項(xiàng)重要的標(biāo)準(zhǔn)。然而很多情況下，由于外界機(jī)器設(shè)備性能的限制以及拍攝條件的影響，會(huì)使得采集到圖像分辨率較低，進(jìn)而造成圖像比較模糊，導(dǎo)致采集到的圖像不能達(dá)到實(shí)際應(yīng)用的需求。因此，提高圖像分辨率勢(shì)在必行。雖然提高圖像分辨率最直接的方法是提高硬件的配置，但是往往受制于成本和設(shè)備物理?xiàng)l件的限制，所以通常采用軟件的方法對(duì)圖像分辨率進(jìn)行提高，也就是超分辨率技術(shù)。

圖像超分辨率重建技術(shù)是利用一組低質(zhì)量、低分辨率圖像或運(yùn)動(dòng)序列來產(chǎn)生高質(zhì)量、高分辨率圖像。隨著人工智能的發(fā)展，目前技術(shù)人員已經(jīng)能夠基于深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)單幀圖像的超分辨率，使得單幀圖像超分辨率技術(shù)有了巨大進(jìn)步。

目前，超分辨率技術(shù)在現(xiàn)實(shí)生活中有著十分廣泛的用途，包括高清電視，醫(yī)學(xué)影像，衛(wèi)星圖像，安全檢測(cè)，顯微成像，虛擬現(xiàn)實(shí)等領(lǐng)域。其中，在數(shù)字電視領(lǐng)域，利用超分辨率重建技術(shù)將數(shù)字電視信號(hào)轉(zhuǎn)換為高清晰度電視信號(hào)是極為重要的應(yīng)用，能夠有效提高視頻清晰度。超分辨率技術(shù)遵循“網(wǎng)絡(luò)更深、效果越好”的原則，但采用SRResNet網(wǎng)絡(luò)結(jié)構(gòu)的超分辨率技術(shù)由于網(wǎng)絡(luò)的加深，會(huì)產(chǎn)生參數(shù)過多、梯度收斂過慢、訓(xùn)練困難、實(shí)時(shí)率下降等問題。經(jīng)典ResNet模型采用批歸一化(Batch Normalization)方法收斂梯度加快訓(xùn)練過程，但批歸一化隨著網(wǎng)絡(luò)深度加深會(huì)使得計(jì)算開銷過大，并且其原理會(huì)使得特征被標(biāo)準(zhǔn)化，并不適用于超分辨率應(yīng)用，因此需要提出不同于批歸一化的處理方法，達(dá)到減少計(jì)算開銷、加快計(jì)算收斂速度的目的。同時(shí)，經(jīng)典ResNet模型并未提及不同放大倍率的超分辨率技術(shù)如何實(shí)現(xiàn)。但是由于電視應(yīng)用的分辨率放大倍率較為固定，因此不能很好的適應(yīng)于電視應(yīng)用。

上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種圖像超分辨率方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，旨在解決不同放大倍率下的視頻圖像不能共享卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種圖像超分辨率方法，所述圖像超分辨率方法包括以下步驟：

獲取待處理圖像，對(duì)所述待處理圖像進(jìn)行放大處理，并提取尺度縮放特征，得到經(jīng)尺度縮放特征提取后的第一待處理圖像；

發(fā)送所述第一待處理圖像至殘差網(wǎng)絡(luò)，以供所述殘差網(wǎng)絡(luò)輸出修正后的第二待處理圖像；

對(duì)所述第二待處理圖像進(jìn)行還原處理，生成還原圖像并輸出。

優(yōu)選地，所述獲取待處理圖像，對(duì)所述待處理圖像進(jìn)行放大處理，并提取尺度縮放特征，得到經(jīng)尺度縮放特征提取后的第一待處理圖像的步驟包括：

獲取低分辨率的待處理圖像，在預(yù)處理卷積層對(duì)所述待處理圖像進(jìn)行預(yù)處理；

發(fā)送所述預(yù)處理后的待處理圖像至尺度放大模塊，基于預(yù)置的放大尺度對(duì)所述待處理圖像進(jìn)行放大并提取尺度縮放特征，得到提取過尺度縮放特征的第一待處理圖像。