[發(fā)明專利]圖像增強模型的訓練方法、圖像增強方法及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110266027.5
• 申請日: 2021-03-11
• 公開（公告）號: CN112801918A
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計）人: 李瑮;毛曉蛟;王詩韻
• 申請（專利權(quán)）人: 蘇州科達科技股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 11250
• 代理人: 張琳琳

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及圖像增強模型的訓練方法、圖像增強方法及電子設(shè)備，所述訓練方法包括獲取樣本圖像對，所述樣本圖像對包括第一質(zhì)量樣本圖像以及對應(yīng)的第二質(zhì)量樣本圖像，所述第一質(zhì)量樣本圖像的分辨率小于第二質(zhì)量樣本圖像；將第一質(zhì)量樣本圖像輸入圖像增強模型中，得到預測第二質(zhì)量圖像，所述圖像增強模型包括至少一個卷積單元以及至少一個殘差單元，所述殘差單元包括至少兩個數(shù)據(jù)通道；根據(jù)第二質(zhì)量樣本圖像以及預測第二質(zhì)量圖像進行損失函數(shù)計算，并基于計算結(jié)果對圖像增強模型的參數(shù)進行更新，確定目標圖像增強模型。在相同計算量的情況下增加像素信息的流通，減少了網(wǎng)絡(luò)結(jié)構(gòu)的深度，提高了模型訓練及后續(xù)執(zhí)行的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及圖像增強模型的訓練方法、圖像增強方法及電子設(shè)備。

背景技術(shù)

攝像設(shè)備在光源照度較低或者強背光的環(huán)境下所拍攝的圖像畫面往往會存在亮度低、噪點多以及偏色等問題，主要原因是在低照度的環(huán)境下，光子進入到傳感器上的數(shù)量較少，會直接影響到圖像質(zhì)量以及后續(xù)相關(guān)的智能算法任務(wù)，如夜晚視頻監(jiān)控下的人員識別、背光條件下的車牌識別等。通過圖像增強技術(shù)能夠在提升圖像亮度的同時減少圖像中的噪聲、還原圖像信息、改善圖像的視覺效果，同時提高了后續(xù)相關(guān)識別任務(wù)的精度。

現(xiàn)有技術(shù)中一般是結(jié)合深度學習技術(shù)對低質(zhì)量圖像進行圖像增強處理，例如，利用全卷積網(wǎng)絡(luò)U-net實現(xiàn)。由于全卷積網(wǎng)絡(luò)中通過多個卷積單元的堆疊實現(xiàn)圖像增強，為了達到較好的圖像增強效果，通常堆疊的卷積單元較多，帶來較深的網(wǎng)絡(luò)結(jié)構(gòu)。然而，網(wǎng)絡(luò)結(jié)構(gòu)太深會增加圖像增強模型的運行時間，導致圖像增強處理的效率較低。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供了一種圖像增強模型的訓練方法、圖像增強方法及電子設(shè)備，以解決圖像增強處理的效率較低的問題。

根據(jù)第一方面，本發(fā)明實施例提供了一種圖像增強模型的訓練方法，所述訓練方法包括：

獲取樣本圖像對，所述樣本圖像對包括第一質(zhì)量樣本圖像以及對應(yīng)的第二質(zhì)量樣本圖像，所述第一質(zhì)量樣本圖像的分辨率小于所述第二質(zhì)量樣本圖像；

將所述第一質(zhì)量樣本圖像輸入圖像增強模型中，得到預測第二質(zhì)量圖像，所述圖像增強模型包括至少一個卷積單元以及至少一個殘差單元，所述殘差單元包括至少兩個數(shù)據(jù)通道；

根據(jù)所述第二質(zhì)量樣本圖像以及所述預測第二質(zhì)量圖像進行損失函數(shù)計算，并基于計算結(jié)果對所述圖像增強模型的參數(shù)進行更新，確定目標圖像增強模型。

本發(fā)明實施例提供的圖像增強模型的訓練方法，在圖像增強模型中設(shè)置至少一個殘差單元，且殘差單元包括至少兩個數(shù)據(jù)通道，每個數(shù)據(jù)通道代表一種模型表達，那么一個殘差單元就可以看作是至少兩種模型的集合，而普通的卷積單元只有一路信息流通，從而能夠在相同計算量的情況下增加像素信息的流通，減少了卷積單元的設(shè)置，即減少了網(wǎng)絡(luò)結(jié)構(gòu)的深度，提高了模型訓練及后續(xù)執(zhí)行的效率。

結(jié)合第一方面，在第一方面第一實施方式中，所述殘差單元包括至少一個殘差子單元，各個所述殘差子單元依次堆疊，每個殘差子單元包括至少兩個數(shù)據(jù)通道，各個所述數(shù)據(jù)通道的輸入數(shù)據(jù)相同，各個所述數(shù)據(jù)通道的輸出數(shù)據(jù)利用合并單元處理后作為下一個所述殘差子單元的輸入，所述數(shù)據(jù)通道利用普通卷積層對所述輸入數(shù)據(jù)進行特征提取，或所述數(shù)據(jù)通道將所述輸入數(shù)據(jù)傳輸至所述合并單元。

本發(fā)明實施例提供的圖像增強模型的訓練方法，在殘差單元中設(shè)置至少一個殘差子單元且各個殘差子單元包括至少兩個數(shù)據(jù)通道，利用殘差子單元來替代卷積單元能夠在相同計算量的情況下增加像素信息的流通，一路信息流通代表一種模型表達，在相同的計算量的情況下，增加了模型的表達能力和魯棒性，且有效地保留了第一質(zhì)量樣本圖像的像素信息。

結(jié)合第一方面，或第一方面第一實施方式，在第一方面第二實施方式中，所述將所述第一質(zhì)量樣本圖像輸入圖像增強模型中，得到預測第二質(zhì)量圖像，包括：