[發(fā)明專(zhuān)利]一種基于通道引導(dǎo)的真實(shí)過(guò)曝光圖像校正方法與裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210381937.2
• 申請(qǐng)日: 2022-04-12
• 公開(kāi)（公告）號(hào): CN114862698A
• 公開(kāi)（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 付瑩;洪陽(yáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京理工大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京正陽(yáng)理工知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 張利萍

1.一種基于通道引導(dǎo)的真實(shí)過(guò)曝光圖像校正方法，其特征在于，包括以下步驟：

步驟101：采集真實(shí)成對(duì)的過(guò)曝光校正數(shù)據(jù)集，該數(shù)據(jù)集包含成對(duì)的過(guò)曝光圖像和正常光照參考圖像，每張圖像同時(shí)擁有RAW和其他所需格式的數(shù)據(jù)；

步驟102：分析RAW格式真實(shí)過(guò)曝光圖像的數(shù)據(jù)特性，設(shè)計(jì)通道引導(dǎo)卷積分支；

步驟103：使用通道引導(dǎo)卷積分支，構(gòu)建利用RAW圖像數(shù)據(jù)特性的通道引導(dǎo)過(guò)曝光校正卷積神經(jīng)網(wǎng)絡(luò)；

步驟104：建立真實(shí)圖像過(guò)曝光增強(qiáng)的訓(xùn)練目標(biāo)函數(shù)，對(duì)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練，得到過(guò)曝光RAW圖像和參考圖像之間的映射關(guān)系；

步驟105：輸入需要測(cè)試的過(guò)曝光RAW圖像，以及步驟104得到的過(guò)曝光RAW圖像與參考圖像間的映射關(guān)系；通過(guò)曝光RAW圖像與參考圖像間的映射關(guān)系，將過(guò)曝光RAW圖像映射成正常光照所需格式的圖像。

2.如權(quán)利要求1所述的一種基于通道引導(dǎo)的真實(shí)過(guò)曝光圖像校正方法，其特征在于，步驟101中，首先選定預(yù)拍攝場(chǎng)景，確保無(wú)環(huán)境或人為因素干擾，以及所采集圖像數(shù)據(jù)的場(chǎng)景和內(nèi)容的豐富度；

其次，設(shè)置拍攝硬件設(shè)備，將相機(jī)固定在三腳架上，形成真實(shí)數(shù)據(jù)采集裝置，并由軟件控制快門(mén)進(jìn)行拍攝，以避免相機(jī)運(yùn)動(dòng)造成的錯(cuò)位；

之后，設(shè)置相機(jī)拍攝參數(shù)，在每個(gè)場(chǎng)景中，通過(guò)調(diào)整光圈、焦距和曝光時(shí)間等參數(shù)，最大限度地提高參考圖像的視覺(jué)質(zhì)量；

在具體采集時(shí)，每次先獲取目標(biāo)場(chǎng)景的正常光干凈參考圖像，再通過(guò)軟件調(diào)整圖像采集設(shè)備的曝光時(shí)間參數(shù)，將圖像采集設(shè)備的曝光時(shí)間提高。

3.如權(quán)利要求1所述的一種基于通道引導(dǎo)的真實(shí)過(guò)曝光圖像校正方法，其特征在于，步驟102中，通道引導(dǎo)卷積分支由一個(gè)引導(dǎo)增強(qiáng)模塊和四個(gè)下采樣模塊組成，其中，引導(dǎo)增強(qiáng)模塊包含三個(gè)3×3深度可分離卷積層、實(shí)例歸一化操作和LeakyReLU激活函數(shù)，允許充分探索和提取局部信息；每個(gè)下采樣模塊均包含一個(gè)能夠減小特征圖大小的平均池化層、一個(gè)自注意機(jī)制結(jié)構(gòu)和兩個(gè)深度可分離卷積，從而確保每次下采樣時(shí)分支網(wǎng)絡(luò)對(duì)輸入的紅藍(lán)通道逐級(jí)增強(qiáng)，并都能與主干網(wǎng)絡(luò)進(jìn)行拼接，幫助主干網(wǎng)絡(luò)以多尺度的方式恢復(fù)過(guò)度曝光RAW圖像。

4.如權(quán)利要求1所述的一種基于通道引導(dǎo)的真實(shí)過(guò)曝光圖像校正方法，其特征在于，步驟103中，通道引導(dǎo)過(guò)曝光校正網(wǎng)絡(luò)的主分支，由4個(gè)編碼器階段和4個(gè)相應(yīng)的解碼器階段組成的U-net結(jié)構(gòu)；其中，主分支首先通過(guò)一個(gè)3×3卷積，從四通道RAW圖像中提取原始特征；在編碼器部分，使用半實(shí)例歸一化塊擴(kuò)展感受野，并提高每個(gè)下采樣尺度上的特征的魯棒性；在下采樣操作期間，將所提取到的特征圖中的通道數(shù)加倍；在解碼器部分，引入局部殘差學(xué)習(xí)，使用殘差塊提取高級(jí)特征；對(duì)于跳躍連接結(jié)構(gòu)，使用級(jí)聯(lián)空洞殘差塊替代常規(guī)的跳躍連接結(jié)構(gòu)，以提取高級(jí)特征，并于編碼器部分的各級(jí)特征相融合；同時(shí)，在結(jié)構(gòu)中引入步驟102所構(gòu)建的通道引導(dǎo)卷積分支。

5.如權(quán)利要求4所述的一種基于通道引導(dǎo)的真實(shí)過(guò)曝光圖像校正方法，其特征在于：

半實(shí)例歸一化塊，由標(biāo)準(zhǔn)3×3卷積、LeakyReLU激活函數(shù)和實(shí)例歸一化結(jié)構(gòu)組成，其中，實(shí)例歸一化結(jié)構(gòu)僅被使用于一半的通道上，即，提取的特征信息只有一半會(huì)被進(jìn)行實(shí)例歸一化處理，另一半通道會(huì)保留上下文信息；

級(jí)聯(lián)空洞殘差塊，包含由空洞卷積、LeakyReLU激活函數(shù)組成的三個(gè)殘差連接，以及一層1×1卷積層。