[發明專利]基于U-net++網絡的弱光圖像增強方法和裝置

有效

• 申請號: 202110407894.6
• 申請日: 2021-04-15
• 公開（公告）號: CN112991227B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 劉通;程江華;程榜;李華基;趙康成
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00;G06V10/774
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 邱軼

本申請涉及一種基于U?net++網絡的弱光圖像增強方法、裝置、計算機設備和存儲介質。所述方法包括：通過獲取弱光圖像樣本，將弱光圖像樣本輸入到弱光圖像增強網絡模型中；弱光圖像增強網絡模型包括：基于U?net++網絡的深層密集連接網絡和多層全卷積層網絡；通過深層密集連接網絡得到亮度增強特征圖，通過多層全卷積層網絡對圖像進行細節重建，得到預測增強圖；根據預先構建的損失函數和預測增強圖，對弱光圖像增強網絡模型進行訓練，得到訓練好的弱光圖像增強網絡模型，進行弱光圖像的增強。本發明在弱光圖像的增強過程中，可以在增強亮度的同時更好保留圖像的細節，在降低噪聲的前提下盡可能地提升了色彩保真度和細節還原度。

技術領域

本申請涉及圖像處理技術領域，特別是涉及一種基于U-net++網絡的弱光圖像增強方法、裝置、計算機設備和存儲介質。

背景技術

弱光增強是計算機視覺中最具挑戰性的任務之一。當拍攝場景光線不足時，成像時容易出現信息丟失和噪聲，導致圖像成像質量低。通過補光方式有助于提高成像質量，但在隱蔽成像等特殊需求下，無法采用補光手段。提高拍攝設備的硬件性能有助于在一定程度上提高成像質量，然而成本偏高。因此，在實際的應用中，通過增強算法提高微光圖像質量有著重要的意義。

現有技術中對微光圖像增強進行了各種研究。為了改善圖像的對比度，亮度和質量，學者們從不同角度研究了這個問題，例如傳統方法中的直方圖均衡化(HE)方法，基于視網膜理論的方法以及基于圖像分割，除霧模型的方法等。這些算法通常致力于提高圖像的對比度和恢復圖像的亮度，并且抑制暗光成像過程所產生的高噪聲以及顏色失真等現象。這些方法取得了一定的增強效果，但是仍然存在著很大的改進空間。例如，現有的方法難以做到提高圖像的亮亮同時清晰保留圖像的特征，會出現圖像輪廓不明顯，模糊等狀況。除此以外，還存在暗區偽像，顏色突變、失真，暗光成像過程所產生的干擾噪聲等問題，沒能得到令人滿意的結果，算法性能有待提高。因此，現有技術存在效果不佳的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高弱光圖像增強效果的基于U-net++網絡的弱光圖像增強方法、裝置、計算機設備和存儲介質。

一種基于U-net++網絡的弱光圖像增強方法，所述方法包括：

獲取弱光圖像樣本，將所述弱光圖像樣本輸入到弱光圖像增強網絡模型中；所述弱光圖像增強網絡模型包括：基于U-net++網絡的深層密集連接網絡、多層全卷積層網絡；所述深層密集連接網絡包括：一路級聯編碼器、多路級聯解碼器和跳躍連接結構；

通過所述級聯編碼器對所述弱光圖像樣本進行處理，得到多個層次的下采樣特征圖；通過所述多路級聯解碼器對所述多個層次的下采樣特征圖進行處理，得到多個層次的上采樣特征圖；通過所述跳躍連接結構將所述下采樣特征圖連接到相同層次的所述上采樣特征圖進行累加；通過所述深層密集連接網絡得到亮度增強特征圖；

將所述弱光圖像樣本和所述亮度增強特征圖輸入到所述多層全卷積層網絡進行細節重建，得到預測增強圖；

根據預先構建的損失函數和所述預測增強圖，對所述弱光圖像增強網絡模型進行訓練，得到訓練好的弱光圖像增強網絡模型；

通過訓練好的弱光圖像增強網絡模型進行弱光圖像的增強。

在其中一個實施例中，還包括：通過所述級聯編碼器對所述弱光圖像樣本進行處理，得到多個層次的下采樣特征圖；所述級聯編碼器采用步幅為2的卷積層實現圖像下采樣。

在其中一個實施例中，還包括：將所述弱光圖像樣本和所述亮度增強特征圖輸入到所述多層全卷積層網絡進行細節重建，得到預測增強圖；所述多層全卷積層網絡為帶有ReLU函數的5個卷積層。

在其中一個實施例中，還包括：根據預先構建的損失函數和所述預測增強圖，對所述弱光圖像增強網絡模型進行訓練，得到訓練好的弱光圖像增強網絡模型；所述損失函數由四部分構成，包括均值誤差、感知損失、結構損失和區域損失。