[發(fā)明專利]一種基于深度學習的圖像高動態(tài)范圍重建方法

在審

• 申請?zhí)枺?/td>: 202010072803.3
• 申請日: 2020-01-21
• 公開（公告）號: CN111292264A
• 公開（公告）日: 2020-06-16
• 發(fā)明（設計）人: 肖春霞;劉文燾
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產(chǎn)權代理事務所(特殊普通合伙) 42222
• 代理人: 齊晨涵

本發(fā)明公開了一種基于深度學習的圖像高動態(tài)范圍重建方法，屬于計算攝影學和數(shù)字圖像處理領域。發(fā)明采用基于深度學習的方法建立了一個從單幅LDR圖像到HDR圖像的映射網(wǎng)絡。方法首先從收集到的HDR數(shù)據(jù)集中分別依次生成LDR訓練數(shù)據(jù)、亮度單位對齊的HDR樣本標簽和高亮度區(qū)域的掩碼圖像。然后構建并訓練神經(jīng)網(wǎng)絡以得到具有LDR到HDR映射關系的網(wǎng)絡模型。最后利用訓練得到的生成網(wǎng)絡模型，直接將LDR圖像輸入至網(wǎng)絡模型，即可輸出其重建的HDR圖像。該發(fā)明可以從單幅普通數(shù)字圖像中有效地重建出真實場景的動態(tài)范圍，可用于普通數(shù)字圖像的HDR模擬效果顯示或為基于圖像照明技術提供更逼真的渲染效果。

技術領域

本發(fā)明屬于計算攝影學和數(shù)字圖像處理領域，涉及圖像的高動態(tài)范圍重建方法，尤其是基于深度學習的圖像高動態(tài)范圍重建方法。

背景技術

高動態(tài)范圍成像(High?Dynamic?Range?Imaging,HDRI)技術是用來實現(xiàn)比普通數(shù)字圖像更大曝光范圍的一種圖像表示方法，高動態(tài)范圍(High?Dynamic?Range,HDR)圖像可以提供比普通數(shù)字圖像更大的亮度變化范圍和更多的明暗細節(jié)，這使得HDR圖像能夠呈現(xiàn)更加接近真實場景的亮度變化信息。近年來，隨著顯示設備的不斷進化和基于物理渲染的需求提高，高動態(tài)范圍成像技術在實際應用中變得越來越重要。然而，目前直接獲取HDR圖像的方法需要較高的專業(yè)技能，成本較高且耗時。針對從單幅普通數(shù)字圖像中重建HDR的方法，傳統(tǒng)方法只能通過增加約束的方法來盡可能減少問題的非適定性，這使得它們只能針對某些特定應用場景有效。一些學者也基于深度學習做了一些卓有成效的工作，但他們未能考慮到諸如HDR圖片間的亮度等級不變性等因素導致重建效果有局限性。該發(fā)明可以從單幅普通數(shù)字圖像中有效地重建出真實場景的動態(tài)范圍，可用于普通數(shù)字圖像的HDR模擬效果顯示或為基于圖像照明技術提供更逼真的渲染效果。

發(fā)明內容

本發(fā)明的目的是從單張普通數(shù)字圖像中盡可能恢復原場景的高動態(tài)范圍圖像。這里普通數(shù)字圖像是指以8位顏色深度、256色階保存的低動態(tài)范圍(Low?Dynamic?Range,LDR)圖像，高動態(tài)范圍圖像指以“.EXR”或“.HDR”等格式保存的接近真實場景明暗變化的高動態(tài)范圍圖像。

為了達到上述目的，本發(fā)明采用基于深度學習的方法建立了一個從LDR圖像到HDR圖像的映射網(wǎng)絡，通過訓練數(shù)據(jù)對網(wǎng)絡進行學習訓練，使其建立一個端到端的LDR圖像到HDR圖像的映射關系，整體框架圖如附圖1所示。算法分為數(shù)據(jù)預處理和深度神經(jīng)網(wǎng)絡訓練兩個部分。數(shù)據(jù)預處理部分包括訓練樣本對的生成、HDR圖像亮度單位的對齊和圖像高光區(qū)域掩碼的生成三個部分。神經(jīng)網(wǎng)絡結構分為基本HDR重建網(wǎng)絡和訓練優(yōu)化網(wǎng)絡，如附圖2所示。其損失函數(shù)包括三項，分別為HDR重建圖像的尺度不變損失、高光區(qū)域分類的交叉熵損失和生成對抗損失。

該方法具體包括以下內容和步驟：

一、數(shù)據(jù)預處理

1)生成LDR訓練樣本輸入

在使用深度神經(jīng)網(wǎng)絡進行有監(jiān)督訓練之前，需要獲取對應網(wǎng)絡輸入輸出的訓練數(shù)據(jù)集。訓練數(shù)據(jù)集包含若干LDR-HDR圖像對，其中HDR圖像數(shù)據(jù)可使用現(xiàn)有可用的HDR圖片，該數(shù)據(jù)作為訓練樣本的標簽，用于監(jiān)督網(wǎng)絡的訓練；LDR圖像數(shù)據(jù)作為HDR圖像對應的樣本輸入，需要從原HDR圖像中生成，其生成方法有兩中途徑，一是使用色調映射算法完成從HDR圖片到LDR圖片的生成，二是通過構建虛擬相機的方式以HDR圖像作為模擬場景對齊進行模擬拍攝從而得到LDR圖片。

使用色調映射算法生成LDR圖像：選擇一種適當?shù)纳{映射算法，直接將HDR圖像作為算法輸入即可得到對應的LDR圖像輸出。