[發(fā)明專利]圖像處理方法、裝置、設(shè)備及其訓(xùn)練方法

有效

• 申請?zhí)枺?/td>: 202010419181.7
• 申請日: 2020-05-18
• 公開（公告）號: CN111598808B
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計）人: 季孝忠;曹赟;邰穎;汪鋮杰;李季檁
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 王娟

提供了一種圖像處理方法、裝置、設(shè)備及其訓(xùn)練方法，該訓(xùn)練方法包括：獲取樣本圖像集，該樣本圖像集包括第一數(shù)量的樣本圖像；基于該樣本圖像集構(gòu)建圖像特征集，該圖像特征集包括分別從該樣本圖像集中的每個樣本圖像提取的至少一個圖像特征；獲取訓(xùn)練圖像集，該訓(xùn)練圖像集包括第二數(shù)量的訓(xùn)練圖像，該訓(xùn)練圖像集與該樣本圖像集完全相同、部分相同或完全不同，該第一數(shù)量和該第二數(shù)量相同或不同；基于該訓(xùn)練圖像集和該圖像特征集構(gòu)建多個訓(xùn)練圖像對；以及基于該多個訓(xùn)練圖像對對該圖像處理模型進(jìn)行訓(xùn)練。該訓(xùn)練方法利用無標(biāo)記的真實圖像作為訓(xùn)練輸入，使得經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以處理低分辨率圖像中的模糊/噪聲問題，生成更清晰/干凈的高分辨率圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)，更具體地，涉及一種圖像處理方法、裝置、設(shè)備及其訓(xùn)練方法。

背景技術(shù)

圖像在形成、記錄、處理和傳輸過程中，由于成像系統(tǒng)、記錄設(shè)備、傳輸介質(zhì)和處理方法的不完善，導(dǎo)致圖像質(zhì)量的下降，這種現(xiàn)象叫做圖像退化。真實世界中的圖像的退化方式往往是未知的，從而需要正確地對其進(jìn)行估計，以恢復(fù)出原始高清圖像。通過圖像處理算法或神經(jīng)網(wǎng)絡(luò)將低分辨率圖像放大為高分辨率圖像的過程被稱為超分辨率處理過程。然而，目前的超分辨率算法都是基于干凈且清晰的訓(xùn)練圖像來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的。這些方法通過雙三次(bicubic)算子將高分辨率圖像進(jìn)行縮小，從而得到低分辨率圖像，并且基于由此構(gòu)造的成對訓(xùn)練圖像，訓(xùn)練能夠處理干凈且清晰圖像的神經(jīng)網(wǎng)絡(luò)。然而，通過bicubic算子構(gòu)造的低分辨率圖像無法保留真實圖像退化場景下的低分辨率圖像的噪聲或模糊度特征，因此，目前的超分辨率算法在理想的干凈圖像數(shù)據(jù)上效果穩(wěn)定，但對于具有一定噪聲和模糊度的真實圖像，處理效果欠佳。目前的超分辨率算法還存在以下不足：1)使用特定的bicubic算子構(gòu)造訓(xùn)練數(shù)據(jù)，不符合真實圖像的退化過程；2)僅僅實現(xiàn)了分辨率的放大，無法處理低分辨率圖像中的模糊/噪聲問題；3)生成的高分辨率圖像紋理細(xì)節(jié)不夠豐富，無法重建逼真的紋理信息。

基于此，需要一種新穎的圖像處理模型訓(xùn)練方法，其不需要成對的訓(xùn)練圖像，僅利用無標(biāo)記的真實圖像作為訓(xùn)練輸入，使得經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以處理低分辨率圖像中的模糊/噪聲問題，生成更加清晰/干凈的高分辨率圖像。

發(fā)明內(nèi)容

本發(fā)明的實施例提供了一種圖像處理模型的訓(xùn)練方法，包括：獲取樣本圖像集，所述樣本圖像集包括第一數(shù)量的樣本圖像；基于所述樣本圖像集構(gòu)建圖像特征集，所述圖像特征集包括分別從所述樣本圖像集中的每個樣本圖像提取的至少一個圖像特征；獲取訓(xùn)練圖像集，所述訓(xùn)練圖像集包括第二數(shù)量的訓(xùn)練圖像，所述訓(xùn)練圖像集與所述樣本圖像集完全相同、部分相同或完全不同，所述第一數(shù)量和所述第二數(shù)量相同或不同；基于所述訓(xùn)練圖像集和所述圖像特征集構(gòu)建多個訓(xùn)練圖像對；以及基于所述多個訓(xùn)練圖像對對所述圖像處理模型進(jìn)行訓(xùn)練。

根據(jù)本發(fā)明的實施例，其中，所述至少一個圖像特征包括模糊度特征和噪聲特征，其中，基于所述樣本圖像集構(gòu)建圖像特征集包括：提取所述樣本圖像集中的每個樣本圖像的模糊度特征和噪聲特征；以及基于所述每個樣本圖像的模糊度特征和噪聲特征來構(gòu)建所述圖像特征集。

根據(jù)本發(fā)明的實施例，其中，每個訓(xùn)練圖像對包括一個訓(xùn)練目標(biāo)圖像和一個訓(xùn)練輸入圖像，所述訓(xùn)練目標(biāo)圖像的分辨率高于所述訓(xùn)練輸入圖像的分辨率，其中，基于所述訓(xùn)練圖像集和所述圖像特征集構(gòu)建多個訓(xùn)練圖像對包括：對于所述訓(xùn)練圖像集中的至少一部分訓(xùn)練圖像中的每一個，對該訓(xùn)練圖像進(jìn)行圖像增強(qiáng)，以獲取所述訓(xùn)練目標(biāo)圖像；以及基于所述訓(xùn)練目標(biāo)圖像和所述圖像特征集獲取與所述訓(xùn)練目標(biāo)圖像相對應(yīng)的訓(xùn)練輸入圖像。

根據(jù)本發(fā)明的實施例，其中，對該訓(xùn)練圖像進(jìn)行圖像增強(qiáng)，以獲取所述訓(xùn)練目標(biāo)圖像包括：對所述訓(xùn)練圖像進(jìn)行去噪聲和/或去模糊處理，以獲取所述訓(xùn)練目標(biāo)圖像，其中所述訓(xùn)練目標(biāo)圖像的模糊度和/或噪聲低于所述訓(xùn)練圖像的模糊度和/或噪聲。

根據(jù)本發(fā)明的實施例，其中，對該訓(xùn)練圖像進(jìn)行圖像增強(qiáng)，以獲取所述訓(xùn)練目標(biāo)圖像包括：對所述訓(xùn)練圖像進(jìn)行雙三次插值下采樣處理，以獲取所述訓(xùn)練目標(biāo)圖像。