[發(fā)明專利]基于事件流和彩色圖像融合的不均勻照明圖像增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211428930.8
• 申請(qǐng)日: 2022-11-15
• 公開(kāi)（公告）號(hào): CN115908176A
• 公開(kāi)（公告）日: 2023-04-04
• 發(fā)明（設(shè)計(jì)）人: 李滿天;畢秀雯;查富生;郭偉;孫立寧;王鵬飛;徐佳男;任鵬程
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/50;G06N3/0464;G06N3/048;G06N3/044
• 代理公司: 哈爾濱華夏松花江知識(shí)產(chǎn)權(quán)代理有限公司 23213
• 代理人: 張利明

一種基于事件流和彩色圖像融合的不均勻照明圖像增強(qiáng)方法，屬于計(jì)算機(jī)視覺(jué)圖像增強(qiáng)技術(shù)領(lǐng)域。本發(fā)明針對(duì)事件相機(jī)輸出的事件無(wú)法提供場(chǎng)景的顏色信息的問(wèn)題。包括：獲取事件相機(jī)的事件流E和對(duì)應(yīng)的標(biāo)準(zhǔn)相機(jī)的彩色圖像幀S；采用E2VID方法將事件流E重建為強(qiáng)度圖像Isubgt;1/subgt;；基于Retinex理論，采用卷積神經(jīng)網(wǎng)絡(luò)將彩色圖像幀S分解為反射圖R、照明圖Isubgt;2/subgt;和噪聲圖N；采用伽馬變換調(diào)整強(qiáng)度圖像Isubgt;1/subgt;和照明圖Isubgt;2/subgt;的亮度，生成兩個(gè)人工多曝光圖像序列；計(jì)算獲得兩個(gè)人工多曝光圖像序列中各曝光圖像的權(quán)值圖，與金字塔融合策略混合，獲得人工多曝光圖像序列的融合圖像；基于Retinex理論，結(jié)合照明圖Isubgt;2/subgt;和噪聲圖N，將融合圖像轉(zhuǎn)化為融合后彩色圖像。本發(fā)明用于不均勻照明圖像增強(qiáng)。

技術(shù)領(lǐng)域

本發(fā)明涉及基于事件流和彩色圖像融合的不均勻照明圖像增強(qiáng)方法，屬于計(jì)算機(jī)視覺(jué)圖像增強(qiáng)技術(shù)領(lǐng)域。

背景技術(shù)

標(biāo)準(zhǔn)相機(jī)的動(dòng)態(tài)范圍比自然場(chǎng)景要小得多。由于人工光源的影響，標(biāo)準(zhǔn)攝像機(jī)捕捉到的圖像照明不均勻，包含了低光和高光區(qū)域，并降低了能見(jiàn)度。這影響了分割、檢測(cè)、跟蹤等非均勻照明環(huán)境中任務(wù)的準(zhǔn)確性。因此，通過(guò)提高對(duì)比度和恢復(fù)細(xì)節(jié)來(lái)提高非均勻照明圖像的可見(jiàn)性是一項(xiàng)重要的任務(wù)。

近年來(lái)，為了提高非均勻照明圖像的質(zhì)量，提出了許多圖像增強(qiáng)方法，包括直方圖均衡(HE)、Retinex理論和高動(dòng)態(tài)范圍(HDR)成像技術(shù)。基于HE的方法是全局圖像增強(qiáng)方法，增強(qiáng)后的圖像具有嚴(yán)重的噪聲、過(guò)曝光的明亮區(qū)域和一些細(xì)節(jié)的丟失。基于Retinex的方法使用各種先驗(yàn)和假設(shè)來(lái)估計(jì)照明，然后利用估計(jì)的照明圖來(lái)恢復(fù)圖像的對(duì)比度。雖然基于Retinex的方法提高了圖像對(duì)比度，但它們不能處理光線效果，也不能在明亮的區(qū)域重新獲得細(xì)節(jié)。HDR成像方法可以抑制光效果，在黑暗區(qū)域保留細(xì)節(jié)，但依舊不能恢復(fù)過(guò)度暴露區(qū)域的細(xì)節(jié)。

事件相機(jī)，一種受生物啟發(fā)的傳感器，其工作原理與標(biāo)準(zhǔn)相機(jī)非常不同。事件攝像機(jī)的每個(gè)像素都可以異步地檢測(cè)場(chǎng)景亮度的變化，并以事件的形式單獨(dú)輸出。因此，它們的輸出不是強(qiáng)度圖像，而是異步事件流。事件攝像機(jī)是一種具有高動(dòng)態(tài)范圍的新型傳感器，它為非均勻照明圖像增強(qiáng)提供了一種潛在的解決方案，特別是在明亮區(qū)域的細(xì)節(jié)恢復(fù)，但是事件相機(jī)輸出的事件無(wú)法提供場(chǎng)景的顏色信息。

發(fā)明內(nèi)容

針對(duì)事件相機(jī)輸出的事件無(wú)法提供場(chǎng)景的顏色信息的問(wèn)題，本發(fā)明提供一種基于事件流和彩色圖像融合的不均勻照明圖像增強(qiáng)方法。

本發(fā)明的一種基于事件流和彩色圖像融合的不均勻照明圖像增強(qiáng)方法，包括，

步驟一：獲取事件相機(jī)的事件流E和對(duì)應(yīng)的標(biāo)準(zhǔn)相機(jī)的彩色圖像幀S；

步驟二：采用E2VID方法，將事件流E重建為強(qiáng)度圖像I₁；同時(shí)基于Retinex理論，采用卷積神經(jīng)網(wǎng)絡(luò)將彩色圖像幀S分解為反射圖R、照明圖I₂和噪聲圖N；

步驟三：采用伽馬變換調(diào)整強(qiáng)度圖像I₁和照明圖I₂的亮度，生成兩個(gè)人工多曝光圖像序列；

步驟四：計(jì)算獲得兩個(gè)人工多曝光圖像序列中各曝光圖像的權(quán)值圖，將所有權(quán)值圖與金字塔融合策略混合，獲得人工多曝光圖像序列的融合圖像；

步驟五：基于Retinex理論，結(jié)合照明圖I₂和噪聲圖N，將融合圖像轉(zhuǎn)化為融合后彩色圖像。

根據(jù)本發(fā)明的基于事件流和彩色圖像融合的不均勻照明圖像增強(qiáng)方法，

步驟二中，卷積神經(jīng)網(wǎng)絡(luò)為三分支卷積神經(jīng)網(wǎng)絡(luò)，每個(gè)分支分別由彩色圖像幀S分解獲得反射圖R、照明圖I₂和噪聲圖N；

三分支卷積神經(jīng)網(wǎng)絡(luò)包括CNN1分支、CNN2分支和CNN3分支；