[發(fā)明專利]一種圖像處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710702122.9
• 申請(qǐng)日: 2017-08-16
• 公開（公告）號(hào): CN107464217B
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 王好謙;安王鵬;張宇倫;戴瓊海
• 申請(qǐng)（專利權(quán)）人: 清華-伯克利深圳學(xué)院籌備辦公室
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/10
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

1.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像，根據(jù)預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)提取所述待處理圖像的特征信息，其中，所述特征信息包括待處理圖像的內(nèi)容信息、深度信息和紋理信息；

基于所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)和所述特征信息對(duì)所述待處理圖像進(jìn)行超分辨處理，其中，所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)包括預(yù)設(shè)數(shù)量的超分辨子網(wǎng)絡(luò)和圖像融合子網(wǎng)絡(luò)，所述超分辨子網(wǎng)絡(luò)包括第一子網(wǎng)絡(luò)、第二子網(wǎng)絡(luò)和第三子網(wǎng)絡(luò)，所述第一子網(wǎng)絡(luò)、所述第二子網(wǎng)絡(luò)和所述第三子網(wǎng)絡(luò)依次連接，所述圖像融合子網(wǎng)絡(luò)分別與所述第一子網(wǎng)絡(luò)、所述第二子網(wǎng)絡(luò)和所述第三子網(wǎng)絡(luò)連接；

其中，所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)根據(jù)所述特征信息對(duì)所述待處理圖像進(jìn)行超分辨處理包括：

將所述待處理圖像輸入所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)的各超分辨子網(wǎng)絡(luò)，對(duì)所述待處理圖像的特征信息進(jìn)行加權(quán)處理，獲取各所述超分辨子網(wǎng)絡(luò)的特征圖像；

將各所述超分辨子網(wǎng)絡(luò)的特征圖像輸入所述圖像融合子網(wǎng)絡(luò)，對(duì)各所述特征圖像進(jìn)行加權(quán)處理，生成超分辨圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在獲取待處理圖像之前，還包括：

建立神經(jīng)網(wǎng)絡(luò)，根據(jù)預(yù)設(shè)訓(xùn)練樣本集對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練，形成所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所得的方法，其特征在于，所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)包括預(yù)設(shè)數(shù)量的超分辨子網(wǎng)絡(luò)，所述根據(jù)預(yù)設(shè)訓(xùn)練樣本集對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練，包括：

根據(jù)訓(xùn)練樣本圖像獲取所述神經(jīng)網(wǎng)絡(luò)的輸入圖像；

將所述輸入圖像輸入待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，獲取各超分辨子網(wǎng)絡(luò)對(duì)應(yīng)的訓(xùn)練特征圖像；

根據(jù)所述各訓(xùn)練特征圖像與標(biāo)準(zhǔn)圖像確定第一損失信息，根據(jù)所述第一損失信息調(diào)整對(duì)應(yīng)各超分辨子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)還包括圖像融合子網(wǎng)絡(luò)，所述根據(jù)預(yù)設(shè)訓(xùn)練樣本集對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練，還包括：

將所述各超分辨子網(wǎng)絡(luò)的訓(xùn)練特征圖像輸入所述圖像融合子網(wǎng)絡(luò)，對(duì)各所述訓(xùn)練特征圖像進(jìn)行加權(quán)處理，生成超分辨訓(xùn)練圖像；

根據(jù)所述超分辨訓(xùn)練圖像和所述標(biāo)準(zhǔn)圖像確定第二損失信息，根據(jù)所述第二損失信息調(diào)節(jié)所述各特征圖像的權(quán)重。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)訓(xùn)練樣本圖像獲取所述神經(jīng)網(wǎng)絡(luò)的輸入圖像，包括：

對(duì)所述訓(xùn)練樣本圖像進(jìn)行下采樣處理，生成低分辨率圖像，將所述低分辨率圖像確定為所述神經(jīng)網(wǎng)絡(luò)的輸入圖像。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在對(duì)所述訓(xùn)練樣本圖像進(jìn)行下采樣處理之前，還包括：

對(duì)所述訓(xùn)練樣本圖像進(jìn)行圖像分割，生成至少一個(gè)預(yù)設(shè)尺寸的子訓(xùn)練圖像。

7.一種圖像處理裝置，其特征在于，包括：

特征提取模塊，用于獲取待處理圖像，根據(jù)預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)提取所述待處理圖像的特征信息，其中，所述特征信息包括待處理圖像的內(nèi)容信息、深度信息和紋理信息；

超分辨處理模塊，用于基于所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)和所述特征信息對(duì)所述待處理圖像進(jìn)行超分辨處理，其中，所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)包括預(yù)設(shè)數(shù)量的超分辨子網(wǎng)絡(luò)和圖像融合子網(wǎng)絡(luò)，所述超分辨子網(wǎng)絡(luò)包括第一子網(wǎng)絡(luò)、第二子網(wǎng)絡(luò)和第三子網(wǎng)絡(luò)，所述第一子網(wǎng)絡(luò)、所述第二子網(wǎng)絡(luò)和所述第三子網(wǎng)絡(luò)依次連接，所述圖像融合子網(wǎng)絡(luò)分別與所述第一子網(wǎng)絡(luò)、所述第二子網(wǎng)絡(luò)和所述第三子網(wǎng)絡(luò)連接；

其中，所述超分辨處理模塊包括：

特征圖像獲取單元，用于將所述待處理圖像輸入所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)的各超分辨子網(wǎng)絡(luò)，對(duì)所述待處理圖像的特征信息進(jìn)行加權(quán)處理，獲取各所述超分辨子網(wǎng)絡(luò)的特征圖像；

第二超分辨圖像確定單元，用于將各所述超分辨子網(wǎng)絡(luò)的特征圖像輸入所述圖像融合子網(wǎng)絡(luò)，對(duì)各所述特征圖像進(jìn)行加權(quán)處理，生成超分辨圖像。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括：

神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊，用于在獲取待處理圖像之前，建立神經(jīng)網(wǎng)絡(luò)，根據(jù)預(yù)設(shè)訓(xùn)練樣本集對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練，形成所述預(yù)設(shè)超分辨神經(jīng)網(wǎng)絡(luò)。