[發明專利]一種融合高低頻特征信息的低光圖像增強方法及裝置

有效

• 申請號: 202310426401.2
• 申請日: 2023-04-20
• 公開（公告）號: CN116152120B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 彭成磊;蘇鴻麗;洪宇宸;劉知豪;王宇宣;潘紅兵
• 申請（專利權）人: 南京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/80;G06V10/82;G06V10/56;G06V10/54;G06N3/0455;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 無錫迅牛知識產權代理事務所(普通合伙) 32731
• 代理人: 彭素琴

本發明公開了一種融合高低頻特征信息的低光圖像增強方法及裝置，屬于計算機視覺領域和圖像處理領域。本發明方法包括：S1、采集RGB格式的正常光?低光圖像對；S2、對采集到的低光圖像分解為光照分量Isubgt;low/subgt;和反射分量Rsubgt;low/subgt;；S3、對得到的光照分量和反射分量分解為三級拉普拉斯金字塔；S4、分別對光照分量和反射分量的三級拉普拉斯金字塔圖像依次輸入到三個分支網絡中得到增強后的光照分量和反射分量；S5、對和進行逐通道逐像素相乘操作得到低光增強后的正常光圖像；其推理步驟包括上述步驟S2?S5。本發明利用雙通道注意力下的拉普拉斯多尺度特征提取塊LRMSDA，實現能有效抑制噪聲和增強紋理細節的高質量低光圖像增強。

技術領域

本發明涉及一種融合高低頻特征信息的低光圖像增強方法及裝置，屬于計算機視覺領域和圖像處理領域。

背景技術

低光圖像是由成像設備在昏暗的光照條件下拍攝得到的，照明不足導致圖像存在可見度差、對比度低、意外噪聲等問題，進一步損害許多為正常光圖像設計的計算機視覺系統的性能。因此，作為低級視覺任務，將低光圖像轉換為正常曝光的高質量圖像尤其重要。

傳統方法在處理暗光圖像時主要分為兩類，第一類建立在直方圖均衡（HE）技術的基礎上，第二類基于Retinex理論，將圖像建模分解為兩個組成部分，即照明分量和反射分量。雖然傳統方法在某些情況下可能得到不錯的結果，但是仍然受到反射和照明分解模型限制，即很難設計出能夠應用于各種場景的圖像分解的約束模型。

近年來，由于基于深度神經網絡(DNN)的生成模型的豐富可能性，微光圖像增強問題被重新表述為圖像到圖像的轉換問題，即增強結果可以在不需要任何物理假設的情況下恢復。盡管基于DNN的各種模型極大地提高了恢復結果的視覺質量，但它們在高頻紋理特征的處理上依舊存在不足。

發明內容

針對上述現有技術缺陷，本發明提出一種融合高低頻特征信息的低光圖像增強方法及裝置，本發明使用多尺度深度堆疊拉普拉斯分離低頻照度特征和高頻紋理特征，在UNet上使用基于雙通道注意力下的拉普拉斯多尺度特征提取塊LRMSDA（基于雙通道注意力下的拉普拉斯多尺度特征提取塊，Laplacian?Residual?Multi-Scale?featureextraction?block?based?on?Dual?channel?Attention，簡稱LRMSDA），更進一步增強網絡對低頻照度特征和高頻紋理信息的感知與融合，在低光圖像增強中能有效抑制噪聲和增強紋理細節。

本發明采用的技術方案如下：

一種融合高低頻特征信息的低光圖像增強方法，其特征在于，包括如下步驟：

S1：采集RGB格式的正常光-低光圖像對，圖像信息分別記為、；

S2：對采集到的低光圖像分解為光照分量I_low和反射分量R_low；

S3：對分解得到的光照分量I和反射分量R進一步分解為三級拉普拉斯金字塔，分別記為、；

S4：分別將光照分量I和反射分量R的三級拉普拉斯金字塔、輸入到帶有LRMSDA模塊的三個U-Net分支網絡N1、N2、N3中，得到增強后的光照分量和反射分量；

S5：對增強后的光照分量和反射分量進行逐通道逐像素相乘操作得到低光增強后的正常光圖像。

在一種實施方式中，所述S2是使用經典Retinex-Net分解。經典Retinex-Net分解網絡是一個以Sigmoid層結束的兩分支全卷積神經網絡，這兩個分支分別用于估計正常光照圖與低光圖像的光照分量I和反射分量R。