[發(fā)明專利]一種基于深度學(xué)習(xí)的自監(jiān)督低照度圖像增強(qiáng)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010097457.4
• 申請(qǐng)日: 2020-02-17
• 公開(kāi)（公告）號(hào): CN111402145B
• 公開(kāi)（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 張雨;王春暉;遆曉光;董方洲
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/40;G06N3/04;G06N3/08
• 代理公司: 哈爾濱市松花江專利商標(biāo)事務(wù)所 23109
• 代理人: 時(shí)起磊

1.一種基于深度學(xué)習(xí)的自監(jiān)督低照度圖像增強(qiáng)方法，其特征在于，包括以下步驟：

將待增強(qiáng)低照度圖像輸入圖像增強(qiáng)網(wǎng)絡(luò)；

所述的圖像增強(qiáng)網(wǎng)絡(luò)的輸入為低照度圖像S及其最大值通道圖像S_max，S為M*N*3的矩陣，M為行數(shù)，N為列數(shù)，3為{r,g,b}三個(gè)顏色通道，S_max通過(guò)取三個(gè)顏色通道中的最大值得到，為M*N*1的矩陣，將S和S_max合并為M*N*4的矩陣作為網(wǎng)絡(luò)的輸入：

圖像增強(qiáng)網(wǎng)絡(luò)輸出的反射圖像R即為增強(qiáng)后圖像；

所述的圖像增強(qiáng)網(wǎng)絡(luò)為訓(xùn)練好的圖像增強(qiáng)網(wǎng)絡(luò)，所述的訓(xùn)練過(guò)程如下：

A1、采集任意n張低照度圖像，n＞＝1，構(gòu)建訓(xùn)練數(shù)據(jù)集；

A2、對(duì)于訓(xùn)練數(shù)據(jù)集中每一張低照度圖像S，提取其對(duì)應(yīng)的最大值通道圖像S_max，利用直方圖均衡化對(duì)S_max進(jìn)行處理，得到直方圖均衡化后最大值通道圖像S_{He_max}；

A3、以直方圖均衡化后最大值通道圖像S_{He_max}作為監(jiān)督，結(jié)合Retinex理論和照度圖像I平滑的假設(shè)構(gòu)建損失函數(shù)，訓(xùn)練圖像增強(qiáng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的自監(jiān)督低照度圖像增強(qiáng)方法，其特征在于，所述圖像增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)如下：

輸入分別輸入第一卷積層和第二卷積層，第一卷積層、第二卷積層分別為9*9的卷積層和3*3的卷積層；

第一卷積層連接第三卷積單元，所述第三卷積單元為3*3的卷積層后連接一個(gè)ReLU層；

第三卷積單元連接第四卷積單元，第四卷積單元連接第五卷積單元，第五卷積單元連接第六卷積單元，第四卷積單元、第五卷積單元、第六卷積單元均為3*3的卷積層后連接一個(gè)ReLU層；

第六卷積單元的輸出與第三卷積單元的輸出進(jìn)行Concat操作后輸入第七卷積單元，第七卷積單元為3*3的卷積層后連接一個(gè)ReLU層；

第七卷積單元的輸出與第二卷積單元的輸出進(jìn)行Concat操作后輸入第八卷積層，第八卷積層連接第九卷積層，第八卷積層、第九卷積層均為3*3的卷積層；

第九卷積層連接一個(gè)Sigmoid激活函數(shù)層；

Sigmoid激活函數(shù)層連接輸出層，輸出為反射圖像R和照度圖像I。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的自監(jiān)督低照度圖像增強(qiáng)方法，其特征在于，步驟A2的具體過(guò)程包括以下步驟：

步驟三一、提取低照度圖像S的最大值通道圖像S_max

其中，S_max(i,j)為最大值通道圖像S_max中第i行、第j列元素；max代表取最大值操作；c取r、g、b，對(duì)應(yīng)rgb顏色空間下紅綠藍(lán)三個(gè)顏色通道，S_c(i,j)為低照度圖像S在rgb顏色空間下某一個(gè)通道第i行、第j列元素；

步驟三二、對(duì)最大值通道圖像S_max做直方圖均衡化操作，得到直方圖均衡化后最大值通道圖像S_{He_max}。

4.根據(jù)權(quán)利要求3所述的一種基于深度學(xué)習(xí)的自監(jiān)督低照度圖像增強(qiáng)方法，其特征在于，步驟A3的具體過(guò)程包括以下步驟：

步驟四一、以直方圖均衡化后最大值通道圖像S_{He_max}作為監(jiān)督，結(jié)合Retinex理論和照度圖像I平滑的假設(shè)構(gòu)建損失函數(shù)，損失函數(shù)為：

其中，λ₁和λ₂為反射圖損失和照度圖損失的權(quán)重參數(shù)，λ₃為ΔR在照度圖損失中的權(quán)重參數(shù)，λ₄為ΔR在損失函數(shù)中的權(quán)重參數(shù)；S代表獲取的圖像，R代表反射圖，I代表照度圖；代表矩陣中的對(duì)應(yīng)位置元素相乘；R^c表示r、g、b通道中最大值通道對(duì)應(yīng)的反射圖，ΔR代表反射圖R的梯度圖，Δ代表求梯度；ΔI代表照度圖I的梯度圖；

步驟四二、利用步驟四一所提損失函數(shù)，對(duì)圖像增強(qiáng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。