[發明專利]基于Retinex和注意力機制的暗光圖像增強方法

在審

• 申請號: 202110306235.3
• 申請日: 2021-03-23
• 公開（公告）號: CN113052814A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 李勝;李靜;何熊熊;陳銘;喻東;司鵬
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08;G06T5/00
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于Retinex和注意力機制的暗光圖像增強方法，首先設計一個主體結構為U?Net的分解網絡，它由兩個支路組成，將暗光圖像和正常光照圖像分別輸入兩個支路中。其中暗光圖像分解支路輸出暗光圖像的反射分量和光照分量。再將反射分量進行BM3D去噪操作，得到去噪后的反射圖。將光照分量和光照調節參數輸入到加有注意力機制的光照調節網絡中，輸出為增強后的光照分量。最后將經過BM3D去噪操作后的反射分量與光照調節網絡輸出的光照分量進行重構操作，得到暗光圖像增強網絡增強后的圖像。本發明對暗光圖像的增強具有較好的效果。

技術領域

本發明涉及圖像增強技術，特別涉及一種基于Retinex理論和注意力機制的暗光圖像增強方法。

背景技術

隨著近年來深度學習的不斷發展，計算機視覺也得到了進一步的發展。目前，數字圖像廣泛應用于航空航天，智慧醫療，軍事偵察等各個方面。在醫療診斷方面，良好的圖像質量對診斷的效果也至關重要。暗光圖像增強逐步成為計算機視覺任務中的研究熱點之一。

目前由于技術原因，昏暗環境下拍攝的圖片中存在暗區，部分掩藏在暗區的信息難以被發現，且圖片存在大量噪聲，細節損失比較嚴重，給圖片的進一步處理如目標檢測，圖像識別等帶來困難。因此，暗光圖像增強具有重要的理論意義和實際應用價值。

發明內容

為了克服現有的技術在暗光圖像增強中會引入噪聲，細節丟失，色彩失真等不足，消除圖片中的暗區，使暗區中存在的圖像細節能較為清晰地顯示出來。本發明提出一種基于注意力機制和Retinex的光照可調節的低光照圖像增強的方法，可以實現暗光圖像的增強，并能夠消除噪聲干擾，使色彩更為自然，并且能夠根據用戶實際需求靈活地調整光照亮度。

為了解決上述技術問題提出的技術方案如下：

一種基于注意力機制和Retinex的暗光圖像增強方法，包括以下步驟：

步驟1：設計一個網絡主體結構為U-Net的多尺度融合的分解網絡，它由兩個支路組成，將低光照圖像s_low和正常光圖像S_normal分別輸入到分解網絡的不同支路中，得到兩者的反射分量R和光照分量L；

步驟2：對步驟1得到的低光照圖像的反射分量R_low采用BM3D方法進行去噪操作；

步驟3：改進了一個基于注意力機制的光照調節網絡；因為網絡使用的卷積是依靠堆疊多個特征圖而形成感受野的粗糙特征的提取，對空間特征捕捉差，易產生邊界扭曲，基于此，引入一種能提取空間信息的機制，改善網絡結構，增強圖像視覺感知質量；將暗光圖像的光照分量L_low和光照調節率α作為輸入，輸入到加入注意力機制的光照增強網絡，其中參數α被擴展為一個特征圖，參與到光照調節網絡的訓練中；用戶可通過調節參數α來靈活調整光線等級；

步驟4：將處理后的低照度圖像的光照分量L′_low與反射分量R′_low進行點乘操作重構，得到暗光增強網絡的最終增強結果S′_low。

進一步，所述步驟1中，所述分解網絡的一個分支主體結構為U-Net，后面串接一個卷積層，其次是一個Sigmoid層，將輸入的若干通道的特征圖進行Sigmoid函數計算，作用是將輸入的值轉換到0-1之間，從而符合反射圖和光照圖的取值范圍。

再進一步，所述步驟3的過程如下：

3.1光照調節網絡主體結構為encoder-decoder,引入了多尺度連接，使網絡能夠捕獲大范圍內關于光照分布的上下文信息；

3.2在光照調節網絡的上采樣部分加入注意力模塊，將暗光圖像的光照分量L_low和光照調節率α作為輸入，卷積操作之后的特征圖先經過通道注意模塊，再經過空間注意模塊，通過注意力機制模塊，網絡可以充分利用特征圖中不同信道、不同位置的信息，使網絡結構更加靈活；