[發(fā)明專利]一種基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景HDR重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010026179.3
• 申請(qǐng)日: 2020-01-10
• 公開（公告）號(hào): CN111242883B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 何剛;盧星星;宋嘉軒;李云松;謝衛(wèi)瑩
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T7/00;G06T7/33
• 代理公司: 鄭州芝麻知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41173
• 代理人: 王越

1.一種基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景HDR重建方法，其特征在于：含有以下步驟，

步驟1：在同一靜態(tài)場(chǎng)景內(nèi)，用三腳架相機(jī)獲取相同細(xì)節(jié)和范圍大小的欠曝光、正常曝光和過曝光三幅圖像，記錄為S1、S2和S3，記錄對(duì)應(yīng)圖像的曝光時(shí)間，利用加權(quán)融合算法將其融合得到Ground Truth，記為T；

步驟2:在動(dòng)態(tài)場(chǎng)景中，用手持相機(jī)獲取欠曝光、正常曝光和過曝光三幅圖像，記錄為D1、D2和D3，并將D2替換為步驟1中所得的圖像S2；

步驟3：利用LK光流法對(duì)D1、S2和D3進(jìn)行配準(zhǔn)，配準(zhǔn)后的圖像序列記為R1、R2和R3,和步驟1中得到的Ground Truth組成配對(duì)的訓(xùn)練集；

步驟4：利用相機(jī)相應(yīng)曲線將R1、R2和R3變換到線性域，將變換后的圖像記錄為H1、H2和H3；

步驟5：利用對(duì)比度算子提取H1、H2和H3圖像中的亮度信息，將得到的亮度圖像記錄為M1、M2和M3；

步驟6：利用梯度算子提取R1、R2和R3圖像中的細(xì)節(jié)信息，將得到的細(xì)節(jié)圖像記錄為L(zhǎng)1、L2和L3；

步驟7：設(shè)計(jì)基于Resnet的Attention模塊；

步驟8：構(gòu)建基于U-Net和ResNet的HDR重建網(wǎng)絡(luò)，設(shè)計(jì)混合結(jié)構(gòu)損失函數(shù)；

步驟9：將步驟3得到的圖像R1、R2和R3和步驟4得到的圖像H1、H2和H3通道合并作為步驟8的輸入，步驟5得到的圖像M1、M2和M3及步驟6得到的圖像L1、L2和L3通道合并起來作為步驟7構(gòu)建的Attention模塊的輸入，步驟1得到的圖像T作為標(biāo)簽，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

步驟10：對(duì)于步驟9訓(xùn)練好的網(wǎng)絡(luò)模型，將測(cè)試圖像輸入訓(xùn)練好的重建網(wǎng)絡(luò)中，得到HDR圖像；

步驟11：利用Reinhard色調(diào)映射算法對(duì)產(chǎn)生的HDR圖像進(jìn)行色調(diào)映射，在8bit顯示屏上展示重建圖像。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景HDR重建方法，其特征在于：所述步驟1的具體步驟為：

步驟1-1：對(duì)所得的圖像S1、S2和S3進(jìn)行曝光調(diào)整，記為L(zhǎng)1、L2和L3如下式所示：

步驟1-2：根據(jù)簡(jiǎn)單融合算法將步驟1-1所得的L1、L2和L3融合生成HDR圖像，作為Ground Truth，具體公式如下所示：

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景HDR重建方法，其特征在于：所述步驟3的具體步驟為：

步驟3-1：對(duì)步驟2中所得到的三幅圖像D1、S2和D3，進(jìn)行曝光調(diào)整，利用相機(jī)的曝光響應(yīng)曲線將S2的曝光量調(diào)整到與D1曝光量相同，記為D2-1，相機(jī)的曝光響應(yīng)曲線為Ev＝f(Bv,Sv)，其中E_V是圖像的曝光度，由相機(jī)的曝光量F和曝光時(shí)間T決定，計(jì)算方式如下式所示：相機(jī)的曝光量由相機(jī)的焦距f和光圈直徑D決定，計(jì)算方式如下式所示：/B_v是圖像的亮度值，即像素值，S_v是相機(jī)的ISO感光系數(shù)，是常數(shù)，在此取值為100；

步驟3-2：利用Harris角點(diǎn)檢測(cè)法檢測(cè)D1和D2-1中的特征點(diǎn)；

步驟3-3：利用LK光流法計(jì)算D1與D2-1之間的光流矢量；

步驟3-4：利用雙三次插值法及步驟3-3中所得到的光流矢量，將D1及D2-1對(duì)齊；

步驟3-5：重復(fù)步驟3-1相同，利用相機(jī)響應(yīng)曲線將S2的曝光量調(diào)整到與D3相同，記為D2-3；

步驟3-6：重復(fù)上述步驟3-2、3-3和3-4，將D3與D2-3對(duì)齊。

4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景HDR重建方法，其特征在于：所述步驟4采用伽馬曲線，將圖像從線性域轉(zhuǎn)換到非線性域，如下式所示：f＝x^γ，其中γ＝2和x為L(zhǎng)DR圖像，f為變換后得到的HDR域圖像。

5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景HDR重建方法，其特征在于：所述步驟5利用對(duì)比度算子提取步驟4得到的圖像H1、H2和H3的亮度信息，具體如下式所示：