[發明專利]一種基于深度學習的圖像高動態范圍重建方法

在審

• 申請號: 202010072803.3
• 申請日: 2020-01-21
• 公開（公告）號: CN111292264A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 肖春霞;劉文燾
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 齊晨涵

1.一種基于深度學習的圖像高動態范圍重建方法，其特征在于，包括以下步驟：

步驟1，基于深度學習的方法建立神經網絡，該神經網絡包括一個從低動態范圍圖像到高動態范圍圖像的生成網絡與一個判別高動態網絡圖像是否真實的判別網絡；

步驟2，對HDR數據集進行預處理以構成訓練數據，數據預處理分為LDR數據的生成、HDR圖像亮度單位的對齊和圖像高光區域掩碼的生成三個部分，預處理后得到的LDR數據作為生成網絡的訓練輸入數據，輸出為一張HDR圖像和一張高光掩碼圖像，數據預處理后的對齊的HDR數據和高光掩碼圖像作為訓練的樣本標簽數據，判別網絡接受一張HDR圖像與高光掩碼圖像作為輸入，輸出一張表征所輸入的HDR圖像為真實HDR圖像或者是網絡生成的虛假HDR圖像的概率的特征圖；

步驟3，基于三個損失函數訓練神經網絡，采用有監督學習的方式對神經網絡進行訓練，訓練采用Adam優化器分別逐次對生成網絡和判別網絡進行反向傳播優化，三個損失函數分別為HDR重建圖像的尺度不變損失函數、高光區域分類的交叉熵損失函數和生成對抗損失函數，損失函數定義如下：

L_G＝α₁L_hdr+α₂L_mask+α₃L_gan

HDR重建圖像的尺度不變損失函數，其定義如下：

其中y表示網絡輸出的HDR圖像，為對齊后的HDR圖像，表示在對數域中網絡輸出與樣本標簽的差值，∈為一個防止對數計算為零的微小值，下標l，c分別表示像素位置和顏色通道；

高光區域分類的交叉熵損失函數，其定義如下：

其中分別為網絡預測值和標簽值；

生成對抗損失函數，定義如下：

其中D(y)為判別網絡以生成網絡輸出為輸入的計算結果；

根據上述損失函數對網絡進行訓練，當損失函數收斂后，提取生成網絡模型作為最終算法模型。

2.根據權利要求1所述的方法，其特征在于：所述低動態范圍圖像是指8位顏色深度、256色階保存的低動態范圍圖像，所述高動態范圍圖像指以“.EXR”或“.HDR”格式保存的接近真實場景明暗變化的高動態范圍圖像。

3.根據權利要求1所述的方法，其特征在于：步驟1中所描述的神經網絡包括生成網絡和判別網絡，其中生成網絡為一個U-Net結構，網絡接受一張LDR圖像作為輸入，經過由ResNet50模型構成的編碼網絡和6層“上采樣+卷積層”模塊構成解碼網絡后，分別輸出一張HDR圖像和高光掩碼圖像；所述判別網絡為一個由4層卷積層構成的全卷積網絡，該判別網絡接受一張HDR圖像與高光掩碼圖像作為輸入，輸出一張表征所輸入的HDR圖像為真實HDR圖像或者是網絡生成的虛假HDR圖像的概率的特征圖。

4.根據權利要求1所述的方法，其特征在于：步驟2中所描述的數據預處理，其具體過程包括：

步驟2.1，LDR數據的生成，生成LDR訓練樣本輸入，對于每一張HDR圖像，分別使用色調映射算法和虛擬相機拍攝獲取LDR圖像，選擇一種適當的色調映射算法，直接將HDR圖像作為算法輸入得到對應的LDR圖像輸出；同時，通過構建虛擬相機來獲取LDR圖像，首先基于常用的數碼單反相機確定虛擬相機動態范圍的取值范圍，對于每一次獲取LDR圖像都隨機選取范圍內的一個值作為該次模擬拍攝的相機的動態范圍，然后虛擬相機根據輸入的HDR圖像進行自動曝光，對亮度超出虛擬相機動態范圍的像素取邊界值，再將其線性映射至LDR圖像的低動態范圍，最后，將所得到的圖像從線性空間通過隨機選擇的近似相機響應函數映射為普通數字圖像，得到所需要的LDR圖像；

步驟2.2，HDR圖像亮度單位的對齊，對于保存在相對亮度域的HDR圖像，在將其作為訓練樣本標簽前，對齊它們的亮度單位；設原始HDR圖像為H，LDR圖像轉換到線性空間并歸一化到[0，1]，設為L，H_l，c，L_l，c分別為圖像在位置l，通道c處的像素值，其對齊方法為：

其中為對齊后的HDR圖像，m_l，c定義為

其中τ為[0，1]的常數，對齊后的HDR圖像與其對應的LDR圖像組成供神經網絡訓練的訓練樣本對；

步驟2.3，圖像高光區域掩碼的生成，得到對齊的HDR圖像亮度單位后，通過二值化的方式獲取圖像中高亮度區域的掩碼圖像，其公式為：

其中為對齊后的HDR圖像的通道均值圖像，t為常數，該掩碼圖像中值為1的區域代表場景中擁有較高亮度的物體或表面，包括光源、強光反射面。