[發明專利]基于深度往復式HDR變換的圖像校正方法

在審

• 申請號: 201810546738.6
• 申請日: 2018-05-31
• 公開（公告）號: CN108805836A
• 公開（公告）日: 2018-11-13
• 發明（設計）人: 楊鑫;許可;尹寶才;張強;魏小鵬;張吉慶
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;H04N9/64
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

1.一種基于深度往復式HDR變換的圖像校正方法，其特征在于，該圖像校正方法所用的整體網絡包含兩個子網絡，分別是HDR估計網絡和LDR校正網絡；HDR估計網絡用來預測輸入LDR圖像域中的HDR細節，LDR校正網絡用來將HDR圖像數據傳遞到輸出LDR圖像域中，得到更好的視覺效果；步驟如下：

(1)HDR估計網絡

(1.1)網絡輸入輸出：

城市場景全景數據集中包含LDR圖像數據和對應的真值HDR圖像數據，分辨率均為64×128；使用城市場景全景數據集來訓練HDR估計網絡，即該HDR估計網絡的輸入為LDR圖像數據，輸出為預測的HDR圖像數據；

(1.2)網絡結構：

HDR估計網絡過程簡化為式(2)所示：

其中，f₁代表HDR估計網絡；代表HDR估計網絡重建的HDR圖像；I代表輸入的LDR圖像；θ₁是HDR估計網絡的參數；HDR估計網絡的網絡結構是一個編碼器-解碼器網絡結構；編碼網絡用于將輸入的LDR圖像數據編碼為低維潛在表征，該編碼網絡共有6層，每層輸出的特征維度分別是64、64、128、256、256和512；來自編碼網絡輸出的低維潛在表征通過解碼網絡重建為HDR圖像數據，解碼網絡有5層，每層輸出的特征維度分別是256、256、128、64和64；在每個編碼器層到其對應解碼器層之間加入跳躍連接，以補充局部細節；同時，跳躍連接也被應用到輸入LDR圖像數據和輸出HDR數據中；

(1.3)訓練方法：

在HDR估計網絡訓練的過程中，為了克服深度卷積神經網絡難以訓練的弊端，批規范化操作被引入到網絡訓練中；同時使用ELU激活函數加快網絡收斂速度；

HDR估計網絡中的損失函數使用均方誤差損失函數，如式(3)所示：

其中，i是像素索引，N代表像素總數，Y代表真值HDR圖像數據；α和γ是非線性函數的兩個常量，用于將真值HDR圖像域轉換到LDR圖像域；

(2)LDR校正網絡

(2.1)網絡輸入輸出：

將HDR估計網絡的輸出做反伽瑪校正后的結果作為LDR校正網絡的輸入；由于城市場景全景數據集中缺乏真值LDR圖像，所以通過使用Adobe Photoshop進行顏色和曝光度的調節用于生成對應的真值LDR圖像數據集；LDR校正網絡的輸出是細節較為豐富的校正LDR圖像；

(2.2)網絡結構：

LDR校正網絡過程簡化為式(4)所示：

其中，f₂代表LDR校正網絡；表示校正后的LDR圖像；代表HDR估計網絡重建的HDR圖像；θ₂是LDR校正網絡的參數；為了優化HDR域的細節，對HDR估計網絡的輸出做反伽瑪校正，表示為對公式(4)修正得到公式(5)，式中使用對數運算來壓縮數值同時保留大部分細節信息；

其中，log()函數用于壓縮完整的HDR域以促進收斂；δ是一個用于消除零值的常量；

LDR校正網絡的網絡結構類似于HDR估計網絡，同樣是一個編碼器-解碼器網絡結構；編碼網絡用于將輸入的HDR圖像數據編碼為低維潛在表征，該編碼網絡共有6層，每層輸出的特征維度分別是64、64、128、256、256和512；來自編碼網絡輸出的低維潛在表征通過解碼網絡重建為LDR圖像數據，解碼網絡有5層，每層輸出的特征維度分別是256、256、128、64和64；

(2.3)訓練方法：

使用端到端訓練方式，使模型適應深度往復變換過程；HDR估計網絡預先進行訓練，再將訓練好的HDR估計網絡和LDR校正網絡進行整體訓練；在整體訓練過程中，同時使用Sun360室外全景數據集進行對整個網絡進行端到端的微調；

根據LDR真值圖像LDR校正網絡的損失函數Loss_ldr如式(6)所示，

其中，∈是控制HDR重建精確度影響的平衡參數。