[發(fā)明專利]一種基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景HDR重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010026179.3
• 申請(qǐng)日: 2020-01-10
• 公開（公告）號(hào): CN111242883B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 何剛;盧星星;宋嘉軒;李云松;謝衛(wèi)瑩
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T7/00;G06T7/33
• 代理公司: 鄭州芝麻知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41173
• 代理人: 王越

本發(fā)明公開了一種基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景HDR重建方法，克服了現(xiàn)有技術(shù)中圖像處理效果有待改進(jìn)的問(wèn)題。該發(fā)明含有以下步驟，在同一靜態(tài)場(chǎng)景內(nèi)用固定相機(jī)獲取欠曝光、正常曝光和過(guò)曝光三幅圖像；在動(dòng)態(tài)場(chǎng)景中，用手持相機(jī)獲取上述三幅圖像，記為D1、D2和D3；用LK光流法對(duì)D1、S2和D3進(jìn)行配準(zhǔn)，圖像序列記為R1、R2和R3和步驟1中得到的Ground Truth組成配對(duì)的訓(xùn)練集；利用相機(jī)相應(yīng)曲線將R1、R2和R3變換到線性域，記為H1、H2和H3；利用對(duì)比度算子提取H1、H2和H3圖像中的亮度信息，記為M1、M2和M3；利用梯度算子提取R1、R2和R3圖像中細(xì)節(jié)信息，記為L(zhǎng)1、L2和L3；設(shè)計(jì)基于Resnet的Attention模塊。該技術(shù)生成的HDR圖像細(xì)節(jié)豐富，對(duì)比度高，具有廣色域高動(dòng)態(tài)范圍。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)字視頻、計(jì)算機(jī)攝影圖像處理領(lǐng)域，特別是涉及一種基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景HDR重建方法。

背景技術(shù)

動(dòng)態(tài)范圍是指場(chǎng)景中亮度最大值與最小值之比。在真實(shí)場(chǎng)景中，從最耀眼的陽(yáng)光到最暗的星光，動(dòng)態(tài)范圍可達(dá)10^8，人眼能分辨的亮度范圍也高達(dá)10^5。但是，普通傳感器捕獲的動(dòng)態(tài)范圍不超過(guò)10^3，顯示器的動(dòng)態(tài)范圍更是只有10^2。正是由于真實(shí)場(chǎng)景和普通數(shù)碼設(shè)備動(dòng)態(tài)范圍極其不匹配的這種現(xiàn)象，使得成像設(shè)備捕獲的圖像通常會(huì)出現(xiàn)過(guò)曝、欠曝及細(xì)節(jié)信息丟失等問(wèn)題。在實(shí)際應(yīng)用中，HDR圖像難以獲取，降低了該圖像在數(shù)字電視、計(jì)算機(jī)攝影及游戲渲染等應(yīng)用上發(fā)揮的效力。因此，對(duì)于HDR圖像重建算法的研究具有比較強(qiáng)的實(shí)際意義。

目前，HDR圖像重建算法主要分為傳統(tǒng)圖像融合和深度學(xué)習(xí)兩個(gè)方向。通過(guò)傳統(tǒng)圖像融合獲取HDR圖像的方法主要有直接融合法、分塊融合法、分層融合法。直接融合法主要包括Recovering High Dynamic Range Radiance Maps from Photographs，該論文提出不同曝光度圖像的亮度值、曝光時(shí)間與對(duì)應(yīng)位置像素點(diǎn)光照度有關(guān)，據(jù)此建立相機(jī)相應(yīng)曲線模型，求解出相機(jī)響應(yīng)函數(shù)，再通過(guò)逆運(yùn)算得到真實(shí)場(chǎng)景的光照度數(shù)值。得到真實(shí)場(chǎng)景的光照度數(shù)值后將多幅圖像融合成一張高動(dòng)態(tài)范圍圖像，最后通過(guò)色調(diào)映射顯示在普通顯示屏上。該方法計(jì)算度過(guò)于復(fù)雜，并且得到的高動(dòng)態(tài)范圍圖像不能直接顯示在普通顯示屏上。基于區(qū)域的融合方法是首先隨圖像進(jìn)行分塊，采用信息熵理論。選擇包含信息量大的塊進(jìn)行融合。但這種方法對(duì)分塊邊界的處理效果不好，融合圖像容易產(chǎn)生明顯的分塊效應(yīng)。基于分層融合的方法主要包括Exposure Fusion，該論文提出基于拉普拉斯金字塔融合的方法，首先將多幅多曝光圖像進(jìn)行尺度分解，然后綜合對(duì)比度、飽和度、曝光度三個(gè)評(píng)價(jià)指標(biāo)獲取各幅圖像的權(quán)重圖，對(duì)其進(jìn)行平均加權(quán)后獲得綜合金字塔系數(shù)，最終重構(gòu)拉普拉斯金字塔得到融合圖像。該方法是目前最有效的融合方法。但該方法也有一定的缺陷，在過(guò)亮和過(guò)暗區(qū)域，圖像的細(xì)節(jié)信息嚴(yán)重丟失。

基于深度學(xué)習(xí)獲取高動(dòng)態(tài)范圍圖像的方法主要有以下幾種，論文HDR ImageReconstruction From a Single Exposure Using Deep CNNs提出利用自動(dòng)編碼器，將單張LDR圖像作為輸入，先下采樣提取特征，后上采樣重建HDR圖像，該算法能夠有效提升低動(dòng)態(tài)范圍圖像的色度，同時(shí)恢復(fù)高光部分細(xì)節(jié)，但是該算法生成的HDR圖像對(duì)比度較低。論文Robust Patch-Based HDR Reconstruction of Dynamic Scenes，利用一組不同曝光的圖像，包括N張過(guò)曝圖像，N張欠曝圖像和一張正常曝光的圖像，該論文提出的方法首先利用相機(jī)響應(yīng)函數(shù)調(diào)整過(guò)曝和欠曝圖像，使其擁有與正常曝光圖像相同的曝光量，然后利用MBDS(Summarizing visual data using bidirectional similarity)從改變曝光量后的欠曝和過(guò)曝圖像中選擇和正常曝光圖像內(nèi)容最為接近的兩張圖像，將正常曝光圖像和選擇出來(lái)的兩張圖像變換到10bit再進(jìn)行融合，從而得到最終的高動(dòng)態(tài)范圍圖像。該算法得到的圖像對(duì)比度提升明顯，高光和暗部的細(xì)節(jié)也得到有效增強(qiáng)，但是當(dāng)多幀圖像中存在微小運(yùn)動(dòng)或者相機(jī)發(fā)生抖動(dòng)時(shí)，該算法得到的高動(dòng)態(tài)范圍圖像會(huì)出現(xiàn)鬼影現(xiàn)象。

發(fā)明內(nèi)容