[發(fā)明專利]基于色彩恢復塊的彩色微光圖像重建方法

有效

• 申請?zhí)枺?/td>: 202110566534.0
• 申請日: 2021-05-24
• 公開（公告）號: CN113379861B
• 公開（公告）日: 2023-05-09
• 發(fā)明（設計）人: 張聞文;何錦成;何偉基;陳錢;顧國華
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 岑丹

1.一種基于色彩恢復塊的彩色微光圖像重建方法，其特征在于，具體步驟為：

步驟1：在室內和室外采集低照度圖像和正常光圖像，由低照度圖像和對應的正常光圖像生成校園數(shù)據(jù)集；

步驟2：構建用于端對端訓練的卷積神經(jīng)網(wǎng)絡模型，所述卷積神經(jīng)網(wǎng)絡模型包括輸入層、隱藏層、輸出層，所述輸入層用于輸入目標低照度圖像，所述隱藏層用于對輸入圖像進行卷積計算及反卷積計算，輸出層用于輸出結果，輸入層、隱藏層、輸出層之間通過激活函數(shù)連接在一起，所述隱藏層包括編碼器和解碼器，具體結構為：

卷積層1：卷積核大小3×3，卷積核個數(shù)為32，卷積步長為1，填充為相同；通道校正卷積1：輸出通道數(shù)為32；池化層1：選擇最大池化，大小為2×2，步長為2，填充為相同；

卷積層2：卷積核大小3×3，卷積核個數(shù)為64，卷積步長為1，填充為相同；通道校正卷積2：輸出通道數(shù)為64；池化層2：選擇最大池化，大小為2×2，步長為2，填充為相同；

卷積層3：卷積核大小3×3，卷積核個數(shù)為128，卷積步長為1，填充為相同；通道校正卷積3：輸出通道數(shù)為128；池化層3：選擇最大池化，大小為2×2，步長為2，填充為相同；

卷積層4：卷積核大小3×3，卷積核個數(shù)為256，卷積步長為1，填充為相同；通道校正卷積層4：輸出通道數(shù)為256；池化層4：選擇最大池化，大小為2×2，步長為2，填充為相同；

卷積層5：卷積核大小3×3，卷積核個數(shù)為512，卷積步長為1，填充為相同；通道校正卷積5：輸出通道數(shù)為512；上采樣及級聯(lián)層5：卷積核大小為2×2，對圖像的行列進行兩倍翻倍，并與通道校正卷積層4級聯(lián)，輸出通道數(shù)為512，并作為下一個卷積層的輸入；

卷積層6：卷積核大小3×3，卷積核個數(shù)為256，卷積步長為1，填充為相同；通道校正卷積6：輸出通道數(shù)為256；上采樣及級聯(lián)層6：卷積核大小為2×2，對圖像的行列進行兩倍翻倍，并與通道校正卷積層3級聯(lián)，輸出通道數(shù)為256，并作為下一個卷積層的輸入；

卷積層7：卷積核大小3×3，卷積核個數(shù)為128，卷積步長為1，填充為相同；通道校正卷積7：輸出通道數(shù)為128；上采樣及級聯(lián)層7：卷積核大小為2×2，對圖像的行列進行兩倍翻倍，并與通道校正卷積層2級聯(lián)，輸出通道數(shù)為128，并作為下一個卷積層的輸入；

卷積層8：卷積核大小3×3，卷積核個數(shù)為64，卷積步長為1，填充為相同；通道校正卷積8：輸出通道數(shù)為64；上采樣及級聯(lián)層8：卷積核大小為2×2，對圖像的行列進行兩倍翻倍，并與通道校正卷積層1級聯(lián)，輸出通道數(shù)為64，并作為下一個卷積層的輸入；

卷積層9：卷積核大小3×3，卷積核個數(shù)為32，卷積步長為1，填充為相同；通道校正卷積9：輸出通道數(shù)為32；卷積層10：卷積核大小3×3，卷積核個數(shù)為3，卷積步長為1，填充為相同，并作為下一個卷積層的輸入；

通道校正卷積的具體過程為：將輸入通過帶有激活函數(shù)的1×1卷積后分別通過兩個分支，每個分支上的通道數(shù)為輸入的一半；其中一條分支包括色彩恢復塊以及帶有激活函數(shù)的3×3卷積；另外一條分支包括帶有激活函數(shù)的3×3卷積，兩條分支的輸出相級聯(lián)，并通過1×1卷積形成特征圖，特征圖與輸入相加；

所述色彩恢復塊將輸入通過帶有激活函數(shù)的3×3卷積，然后并行通過全局平均池化和全局最大池化，分別經(jīng)過多層感知器生成特征向量，相加后通過sigmoid激活函數(shù)獲得通道注意力特征圖；同時將輸入通過帶有激活函數(shù)的1×1卷積后與通道注意力特征圖相乘；通過帶有激活函數(shù)的1×1卷積恢復為輸入時的通道數(shù)；

步驟3：確定優(yōu)化器和損失函數(shù)，使用校園數(shù)據(jù)集對卷積神經(jīng)網(wǎng)絡模型進行訓練，構建的損失函數(shù)為：

L＝l₁+λl_Sobel,

其中，λ為0.1；

l₁損失為：

l₁＝||I_En-I||₁,

I_En表示增強的圖像，I表示原始圖像；

Sobel損失函數(shù)l_Sobel：

G_x和G_y分別代表著水平和垂直的算子，I_gEn和I_g分別代表著增強的圖像I_En和原始圖像I的灰度圖像；

步驟4：將待重建圖像輸入訓練好的卷積神經(jīng)網(wǎng)絡模型獲得清晰圖像。