[發(fā)明專利]一種圖像處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710702122.9
• 申請(qǐng)日: 2017-08-16
• 公開（公告）號(hào): CN107464217B
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 王好謙;安王鵬;張宇倫;戴瓊海
• 申請(qǐng)（專利權(quán)）人: 清華-伯克利深圳學(xué)院籌備辦公室
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/10
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發(fā)明實(shí)施例公開了一種圖像處理方法及裝置。其中方法包括：獲取待處理圖像，根據(jù)預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)提取所述待處理圖像的特征信息；基于所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)和所述特征信息對(duì)所述待處理圖像進(jìn)行超分辨處理。本發(fā)明實(shí)施例解決了現(xiàn)有技術(shù)中圖像像素低導(dǎo)致圖像不清晰的問題，實(shí)現(xiàn)了基于神經(jīng)網(wǎng)絡(luò)提高待處理圖像的分辨率，提高了圖像的清晰度。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及深度學(xué)習(xí)技術(shù)，尤其涉及一種圖像處理方法及裝置。

背景技術(shù)

圖像超分辨是計(jì)算機(jī)視覺領(lǐng)域和圖像處理領(lǐng)域的重要技術(shù)，圖像超分辨是將低分辨率的圖像重構(gòu)出相應(yīng)的高分辨率的圖像，用于提高圖像分辨率，在用戶需求逐漸提高的情況下，圖像超分辨的應(yīng)用正在逐漸增多。

目前，圖像超分辨的方式主要有插值方法和重構(gòu)方法。其中，插值方法通常是基于局部協(xié)方差系數(shù)、固定功能核或者自適應(yīng)結(jié)構(gòu)核實(shí)現(xiàn)，具有計(jì)算方式簡(jiǎn)單的特點(diǎn)，但是，一般情況下，根據(jù)插值方法進(jìn)行超分辨處理時(shí)，生產(chǎn)的高分辨率圖像隨著放大倍數(shù)的增大產(chǎn)生相應(yīng)的視覺偽影，例如包括由鋸齒效應(yīng)或者模糊效應(yīng)導(dǎo)致的視覺偽影等。重構(gòu)方法在處理過程中假設(shè)低分辨率圖像是高分辨率圖像經(jīng)過一次或者多次圖像退化得到的，其中圖像退化例如可以是降采樣或者模糊化等處理，因此在圖像超分辨的過程中強(qiáng)調(diào)重構(gòu)約束，易導(dǎo)致得到的高分辨率圖像存在過于平滑、不自然邊緣或者由于振鈴效應(yīng)導(dǎo)致的圖像信息丟失等問題。

發(fā)明內(nèi)容

本發(fā)明提供一種圖像處理方法及裝置，以實(shí)現(xiàn)快速獲取高精度的超分辨圖像。

第一方面，本發(fā)明實(shí)施例提供了一種圖像處理方法，該方法包括：

獲取待處理圖像，根據(jù)預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)提取所述待處理圖像的特征信息；

基于所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)和所述特征信息對(duì)所述待處理圖像進(jìn)行超分辨處理。

進(jìn)一步的，所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)包括預(yù)設(shè)數(shù)量的超分辨子網(wǎng)絡(luò)和/或圖像融合子網(wǎng)絡(luò)，其中，所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)根據(jù)所述特征信息對(duì)所述待處理圖像進(jìn)行超分辨處理包括：

將所述待處理圖像輸入所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)的各超分辨子網(wǎng)絡(luò)，對(duì)所述待處理圖像的特征信息進(jìn)行加權(quán)處理，獲取各所述超分辨子網(wǎng)絡(luò)的特征圖像；

將最后一層超分辨子網(wǎng)絡(luò)輸出的特征圖像確定為超分辨圖像；或

將各所述超分辨子網(wǎng)絡(luò)的特征圖像輸入所述圖像融合子網(wǎng)絡(luò)，對(duì)各所述特征圖像進(jìn)行加權(quán)處理，生成超分辨圖像。

進(jìn)一步的，在獲取待處理圖像之前，還包括：

建立神經(jīng)網(wǎng)絡(luò)，根據(jù)預(yù)設(shè)訓(xùn)練樣本集對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練，形成所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步的，所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)包括預(yù)設(shè)數(shù)量的超分辨子網(wǎng)絡(luò)，所述根據(jù)預(yù)設(shè)訓(xùn)練樣本集對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練，包括：

根據(jù)訓(xùn)練樣本圖像獲取所述神經(jīng)網(wǎng)絡(luò)的輸入圖像；

將所述輸入圖像輸入待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，獲取各超分辨子網(wǎng)絡(luò)對(duì)應(yīng)的訓(xùn)練特征圖像；

根據(jù)所述各訓(xùn)練特征圖像與標(biāo)準(zhǔn)圖像確定第一損失信息，根據(jù)所述第一損失信息調(diào)整對(duì)應(yīng)各超分辨子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

進(jìn)一步的，所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)還包括圖像融合子網(wǎng)絡(luò)，所述根據(jù)預(yù)設(shè)訓(xùn)練樣本集對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練，還包括：

將所述各超分辨子網(wǎng)絡(luò)的訓(xùn)練特征圖像輸入所述圖像融合子網(wǎng)絡(luò)，對(duì)各所述訓(xùn)練特征圖像進(jìn)行加權(quán)處理，生成超分辨訓(xùn)練圖像；

根據(jù)所述超分辨訓(xùn)練圖像和所述標(biāo)準(zhǔn)圖像確定第二損失信息，根據(jù)所述第二損失信息調(diào)節(jié)所述各特征圖像的權(quán)重。

進(jìn)一步的，根據(jù)訓(xùn)練樣本圖像獲取所述神經(jīng)網(wǎng)絡(luò)的輸入圖像，包括：