[發(fā)明專利]一種基于全局-局部聚合學(xué)習(xí)的多曝光圖像融合系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211239436.7
• 申請日: 2022-10-11
• 公開（公告）號: CN115661012A
• 公開（公告）日: 2023-01-31
• 發(fā)明（設(shè)計）人: 周士華;雷佳;李嘉偉
• 申請（專利權(quán)）人: 大連大學(xué)
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00
• 代理公司: 大連智高專利事務(wù)所(特殊普通合伙) 21235
• 代理人: 蓋小靜

本發(fā)明公開了一種基于全局?局部聚合學(xué)習(xí)的多曝光圖像融合系統(tǒng)，包括：協(xié)同聚合模塊，獲取融合所需的圖像特征；融合模塊，根據(jù)圖像特征對融合結(jié)果進(jìn)行重構(gòu)；循環(huán)精校模塊，利用循環(huán)機(jī)制不斷地從圖像中挖掘信息，對融合結(jié)果進(jìn)行微調(diào)。本發(fā)明可以根據(jù)低動態(tài)范圍圖像直接生成細(xì)節(jié)豐富曝光平衡的高動態(tài)范圍圖像；利用協(xié)同聚合模塊從源圖像中挖掘相關(guān)特征，成功構(gòu)建一種融合全局信息和局部信息的特征提取機(jī)制。其次，提出了一種特殊的融合模塊來重建融合后的圖像，有效地避免了偽影，抑制了信息的衰減。此外，還利用循環(huán)精校模塊進(jìn)一步微調(diào)融合結(jié)果，從源圖像中捕捉更多的紋理細(xì)節(jié)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像融合技術(shù)領(lǐng)域，具體涉及一種基于全局-局部聚合學(xué)習(xí)的多曝光圖像融合系統(tǒng)。

背景技術(shù)

自然場景中光影信息豐富，會在人眼呈現(xiàn)出豐富多彩的圖像。然而，數(shù)碼相機(jī)難以準(zhǔn)確記錄曝光良好的圖像。單張圖像在某些區(qū)域經(jīng)常會出現(xiàn)曝光過度或曝光不足的現(xiàn)象。產(chǎn)生這種現(xiàn)象的原因是真實(shí)場景中動態(tài)范圍遠(yuǎn)高于成像或顯示設(shè)備的輸出動態(tài)范圍。為了應(yīng)對這種限制，研究人員通常采用高動態(tài)成像設(shè)備和普通成像設(shè)備。高動態(tài)成像設(shè)備可以通過專業(yè)的硬件條件直接獲得拍攝場景的高動態(tài)范圍(HDR)圖像。常見的普通成像設(shè)備依靠目標(biāo)場景在不同曝光水平下的多幅LDR圖像序列，通過曝光融合算法合成一張細(xì)節(jié)清晰、色彩逼真的HDR圖像。因此，穩(wěn)定的HDR圖像受兩個因素影響：LDR圖像的數(shù)量和融合策略的性能。根據(jù)LDR圖像的數(shù)量，當(dāng)前融合任務(wù)可分為非極端曝光融合和極端曝光融合。但是過多的LDR圖像無疑會增加存儲負(fù)擔(dān)和時間成本。

在過去的幾十年里，研究人員一直致力于多曝光融合(MEF)任務(wù)，并產(chǎn)生了大量的優(yōu)秀作品。這些工作大致可以分為兩類，即基于傳統(tǒng)方法和基于深度學(xué)習(xí)方法。對于傳統(tǒng)類別，現(xiàn)有融合方法主要基于變換域和空間域。前者將圖像序列分解為變換域，然后設(shè)計融合規(guī)則重建融合圖像。后者直接在圖像的像素空間上融合，其像素值是線性計算的。此類方法的局限性在于需要手動設(shè)計融合規(guī)則，容易導(dǎo)致融合圖像的顏色偏差和細(xì)節(jié)模糊，時間效率較低。

此外，深度學(xué)習(xí)近年來變得非常流行，同時它已成功應(yīng)用于圖像增強(qiáng)、超分辨率、圖像恢復(fù)和其他低級圖像任務(wù)中。由于深度學(xué)習(xí)出色的特征表示能力，研究人員也將其引入MEF領(lǐng)域。現(xiàn)有大多數(shù)基于深度學(xué)習(xí)的MEF方法都利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來提取特征。與傳統(tǒng)方法相比，卷積神經(jīng)網(wǎng)絡(luò)可以直接與圖像像素交互以獲得所需的信息，更接近人類視覺系統(tǒng)的工作方式。然而，這些MEF方法也存在一些缺點(diǎn)：(1)僅通過卷積操作捕獲局部鄰域的特征，忽略了整體依賴性并丟失了一些基本的全局上下文。(2)某些方法使用的融合策略未能很好地融合從源圖像中獲得的特征。而且，這些方法在融合過程中容易造成信息退化，導(dǎo)致融合結(jié)果產(chǎn)生結(jié)構(gòu)缺陷和顏色偏差。(3)由于極度曝光的圖像之間的間隙較大，太亮或太暗區(qū)域細(xì)節(jié)信息難以被充分利用，故融合結(jié)果可能會出現(xiàn)目標(biāo)不清晰、視覺感知差的情況。

發(fā)明內(nèi)容

本發(fā)明的目的在于，提供一種基于全局-局部聚合學(xué)習(xí)的多曝光圖像融合系統(tǒng)，其有效地避免了偽影，抑制了信息的衰減，提高了融合圖像的紋理細(xì)節(jié)。

為實(shí)現(xiàn)上述目的，本申請?zhí)岢鲆环N基于全局-局部聚合學(xué)習(xí)的多曝光圖像融合系統(tǒng)，包括：

協(xié)同聚合模塊，獲取融合所需的圖像特征；

融合模塊，根據(jù)圖像特征對融合結(jié)果進(jìn)行重構(gòu)；

循環(huán)精校模塊，利用循環(huán)機(jī)制不斷地從圖像中挖掘信息，對融合結(jié)果進(jìn)行微調(diào)。

進(jìn)一步的，所述協(xié)同聚合模塊，包括：

非局部注意力推理模塊，用于從特征映射中獲取全局依賴關(guān)系；

局部自適應(yīng)學(xué)習(xí)模塊，作為學(xué)習(xí)相關(guān)局部特征的補(bǔ)充。

進(jìn)一步的，所述非局部注意力推理模塊，通過高斯隨機(jī)特征逼近和改變乘法順序來獲得圖像的全局特征信息，具體為：

用三個不同的卷積層處理初始圖像特征Fo，得到中間特征表示序列K、Q、V；