[發明專利]基于事件流和彩色圖像融合的不均勻照明圖像增強方法

在審

• 申請號: 202211428930.8
• 申請日: 2022-11-15
• 公開（公告）號: CN115908176A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 李滿天;畢秀雯;查富生;郭偉;孫立寧;王鵬飛;徐佳男;任鵬程
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/0464;G06N3/048;G06N3/044
• 代理公司: 哈爾濱華夏松花江知識產權代理有限公司 23213
• 代理人: 張利明

1.一種基于事件流和彩色圖像融合的不均勻照明圖像增強方法，其特征在于包括，

步驟一：獲取事件相機的事件流E和對應的標準相機的彩色圖像幀S；

步驟二：采用E2VID方法，將事件流E重建為強度圖像I₁；同時基于Retinex理論，采用卷積神經網絡將彩色圖像幀S分解為反射圖R、照明圖I₂和噪聲圖N；

步驟三：采用伽馬變換調整強度圖像I₁和照明圖I₂的亮度，生成兩個人工多曝光圖像序列；

步驟四：計算獲得兩個人工多曝光圖像序列中各曝光圖像的權值圖，將所有權值圖與金字塔融合策略混合，獲得人工多曝光圖像序列的融合圖像；

步驟五：基于Retinex理論，結合照明圖I₂和噪聲圖N，將融合圖像轉化為融合后彩色圖像。

2.根據權利要求1所述的基于事件流和彩色圖像融合的不均勻照明圖像增強方法，其特征在于，

步驟二中，卷積神經網絡為三分支卷積神經網絡，每個分支分別由彩色圖像幀S分解獲得反射圖R、照明圖I₂和噪聲圖N；

三分支卷積神經網絡包括CNN1分支、CNN2分支和CNN3分支；

其中CNN1分支依次包括四個ReLU+Conv層、Conv層和激活函數Sigmod，用于獲得彩色圖像幀S的反射圖R；

CNN2分支依次包括四個ReLU+Conv層、Conv層和激活函數Sigmod，用于獲得彩色圖像幀S的照明圖I₂；

CNN3分支依次包括四個ReLU+Conv層、Conv層和激活函數Tanh，用于獲得彩色圖像幀S的噪聲圖N。

3.根據權利要求2所述的基于事件流和彩色圖像融合的不均勻照明圖像增強方法，其特征在于，三分支卷積神經網絡的損失函數L₀為：

L₀＝L_recon+λ₁L_ic+λ₂L_ref+λ₃L_is+λ₄L_n，

其中L_recon為重建損失，L_ic為照明一致性損失，L_ref為反射率損失，L_is為照明平滑度損失，L_n為噪聲估計損失；λ₁為照明一致性損失項權重因子，λ₂為反射率損失項權重因子，λ₃為照明平滑度損失項權重因子，λ₄為噪聲估計損失項權重因子。

4.根據權利要求3所述的基于事件流和彩色圖像融合的不均勻照明圖像增強方法，其特征在于，

各損失項定義為：

L_recon＝||S-(R⊙I₂+N)||₁，

L_ic＝||I₂-I₀||₁，

L_n＝||I₂⊙N||_F，

式中||·||₁表示范數，I₀是光照的初始估計，ω_r為一階差分算子的權重，一階差分算子包括水平算子和垂直算子ω_h為水平算子權重，ω_v是垂直算子權重；||·||_F為Frobenius范數，⊙為逐元素相乘；

式中normalize表示最小-最大值歸一化，

式中G為高斯濾波器，*表示卷積算子，S_g為彩色圖像幀的灰度圖。