[發明專利]一種基于RAW圖像的低弱光圖像增強方法與裝置

在審

• 申請號: 202310065505.5
• 申請日: 2023-02-06
• 公開（公告）號: CN116309116A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 付瑩;洪陽;張軍
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06T5/50
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 張利萍

1.一種基于RAW圖像的低弱光圖像增強方法，其特征在于，包括以下步驟：

步驟1：分析低弱光RAW圖像的數據特性，設計綠色通道引導卷積分支；

步驟2：基于RAW圖像通道特性和殘差密集結構，設計通道注意力引導殘差密集模塊；

結合注意力機制，優化現有殘差密集結構，實現模塊化設計；

步驟3：使用綠色通道引導卷積分支和通道注意力引導殘差密集模塊，構建多尺度并行特征提取主干網絡；

從RAW圖像利用的角度，通過設計多尺度并行特征提取架構，結合通道注意力引導殘差密集模塊，將輸入的拜耳模式RAW圖像降采樣到不同尺度，同時進行特征提取與學習；

步驟4：建立真實圖像過曝光增強的訓練目標函數，對卷積神經網絡的參數進行訓練，得到低弱光RAW圖像和參考圖像之間的映射關系；

步驟5：輸入需要測試的低弱光RAW圖像和步驟4得到的低弱光RAW圖像與參考圖像間的映射關系；

通過構建低弱光RAW圖像與正常光參考圖像間的映射關系，將低弱光RAW圖像映射成正常光照所需格式的圖像。

2.如權利要求1所述的一種基于RAW圖像的低弱光圖像增強方法，其特征在于，步驟1中，在拜耳模式的RAW圖像的每2×2塊中，提取屬于相應位置的兩個綠色通道的像素，獲得綠色通道，將其一同送至綠色通道引導卷積分支；

通道引導卷積分支通過空間自適應歸一化方式實現，對于照明信息和通道隱藏特征的提取，使用3×3卷積對輸入的兩個綠色通道進行處理，然后通過兩個單獨的3×3卷積，生成元素級參數γ和β；

最后，通過相乘和加和操作，添加到批歸一化后的激活元素中。

3.如權利要求1所述的一種基于RAW圖像的低弱光圖像增強方法，其特征在于，步驟3中，整體網絡首先將輸入的拜耳模式RAW圖像分解轉換為四通道圖像，然后對其進行降采樣，用于三個不同分支的多尺度特征學習，并提取相應的特征映射；

最后，對不同尺度下獲取的特征映射上采樣后進行拼接融合，實現跨不同圖像尺度的協同特征提取和上下文特征信息聚合。

4.如權利要求1所述的一種基于RAW圖像的低弱光圖像增強方法，其特征在于，步驟4中，過曝光校正卷積神經網絡的總訓練目標函數為：

其中，θ表示卷積神經網絡參數；I^out表示輸入網絡增強后的低弱光圖像，I^gt表示參考sRGB圖像；0.5是損失函數權重；表示平均絕對誤差損失；表示小波結構相似性損失；表示小波均方誤差損失；

式1中的進一步表示為：

為定義式1中的首先對圖像I^out和I^gt進行二維離散小波變換DWT；

對于I^out，表示為：

其中，為下采樣圖像，為水平邊緣檢測圖像，為垂直邊緣檢測圖像，為角落檢測圖像；

為采用迭代DWT算法，結合式2，并令將其表示為：

其中，i為整數，取值范圍為0至2；

I^gt的迭代DWT操作按照式3和式4的方式定義執行；

則式1中的表示為：

其中，r表示多頻SSIM損耗之比；SSIM(·)為原始SSIM損耗；w表示不同濾波器的輸出，且w∈{LL,HL,LH,HH}，將各w取值分別代入式5；對于為下采樣圖像，為水平邊緣檢測圖像，為垂直邊緣檢測圖像，為角落檢測圖像；

網絡使用二維Haar小波實現三次小波變換；式1中的表示為：

其中，WT^t(·)表示分別從I^out和I^gt圖像中所計算的小波系數的t階尺度；

通過優化訓練的目標函數式1，得到優化后的網絡參數θ；

至此，得到低弱光RAW圖像和參考sRGB圖像之間的映射關系F。

5.如權利要求4所述的一種基于RAW圖像的低弱光圖像增強方法，其特征在于，式5中，r＝0.4。