[發明專利]基于深度估計的欠曝光LDR圖像重建HDR圖像

在審

• 申請號: 202110993297.6
• 申請日: 2021-08-27
• 公開（公告）號: CN113971639A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 張濤;梁杰;王昊
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/50;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.本發明將HDR重建的知識和深度估計相結合來設計模型。發明的核心思路是將深度估計融入到HDR圖像重建模型中，并開發兩個相連的深度神經網絡來解決每個任務，其特征在于，包括如下步驟：

1)由于直接從8位LDR圖像中推斷出32位HDR圖像的方法很難用于無監督的學習進行訓練，本發明提出一種有效的方法來生成在曝光的LDR圖像下生成HDR圖像以及相應的精確深度圖；

2)本發明訓練HDR重建網絡與深度估計網絡相結合，采用無監督的端到端訓練策略，將深度估計融入到HDR圖像重建模型中，并開發兩個相連的深度網絡來解決每個任務；

3)本發明在卷積層和反卷積層之間增加了殘差連接，用來在不同曝光圖像之間傳遞信息，特征圖包含了大量的圖像細節，且其特征圖能夠在不同的曝光圖像之間共享，這有助于反卷積層恢復更好的圖像，此外，殘差連接也可以將梯度反向傳播到底部，便于更好的訓練網絡；

4)本發明討論深度損失函數對HDR圖像和深度圖像的影響，采用了消融研究的方法。

2.根據權利要求1所述的生成HDR圖像的方法，其特征在于，步驟1)包括：

(1)將曝光不足的圖像作為輸入，推斷出曝光率高于輸入圖像的LDR圖像，每個LDR圖像所記錄的信息對應于真實場景中不同動態范圍的內容；

(2)輸出曝光過度的圖像，最后由這些LDR圖像生成最終的HDR圖像。

3.根據權利要求1所述的將深度估計融入到HDR圖像重建模型中的方法，其特征在于，步驟2)包括：

(1)首先給定輸入的的LDR圖像，利用HDR圖像生成網絡恢復因曝光不足而丟失的細節信息，HDR圖像生成網絡由卷積層和反卷積層組成，用于學習不同的曝光表示，卷積層充當特征提取器，保留圖像中對象的主要成分，反卷積層被合并來恢復圖像的細節；

(2)將HDR圖像作為深度估計網絡的輸入，對場景進行深度估計，整個網絡以無監督的方式學習，利用HDR和LDR圖像之間的關系來約束網絡學習過程，不同曝光量下的LDR圖像之間的關系，依靠合并HDR生成的LDR和RGB丟失生成的LDR圖像之間的一致性來訓練，直到HDR和LDR生成良好；

(3)將一對立體的HDR圖像分別送入同一個網絡模型中，輸出其對應的視差圖，然后通過采樣器獲得重建的HDR左右圖像，將預測的奇偶校驗與相反的輸入圖像對齊；

(4)深度估計網絡采用編碼器提取幾何特征，解碼器結構進一步約束輸出的視差，通過雙線性采樣線性搜索周圍位置的最接近像素，最終生成重建圖像。

(5)為了使重建后的圖像與原始圖像保持一致，分別設置了外觀匹配損失，視差平滑度損失以及左右視差一致性損失。