[發明專利]基于深度估計的欠曝光LDR圖像重建HDR圖像

在審

• 申請號: 202110993297.6
• 申請日: 2021-08-27
• 公開（公告）號: CN113971639A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 張濤;梁杰;王昊
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/50;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

數碼相機只能在有限的范圍內捕捉真實場景的亮度。由于攝像機傳感器的量化和飽和，高動態范圍(HDR)數據中存在的紋理細節丟失，給后續基于圖像的應用(深度估計等)帶來了很大的困難。作為HDR圖像重建效果的一個指標，LDR圖像中反射的不正確色調引起的深度估計誤差可以支持提高HDR圖像生成網絡的學習效率。因此，我們提出了一種由兩個連接的CNN組成的端到端框架，用于HDR圖像重建中最關鍵的問題。通過對基準和最近發布的具有挑戰性的數據集進行大量的定量和定性實驗，證明與最新的單圖像HDR重建和深度估計算法相比，所提出的方法實現了非凡的性能。

技術領域

本發明涉及HDR圖像的重建技術，將深度估計引入到圖像重建的模型中，整個網絡以無監督的學習方式，優于其他HDR圖像重建方法。

背景技術

數碼相機只能在有限的范圍內捕捉真實場景的亮度。由于攝像機傳感器的量化和飽和，高動態范圍(HDR)數據中存在的紋理細節丟失，給后續基于圖像的應用(深度估計等)帶來了很大的困。一幅具有適當亮度和色調的圖像是估計場景深度的關鍵，與現有的基于學習的方法不同，本文提出的方法將深度估計引入到HDR圖像重建的學習模型中，相互促進。作為HDR圖像重建效果的一個指標，LDR圖像中的不正確色調引起的深度估計誤差可以支持提高HDR圖像重建網絡的學習效率。另一方面，良好的HDR圖像也可以提高深度估計精度。因此，我們提出了一個由兩個連接的CNN組成的端到端框架，用于HDR圖像重建和深度估計。由于欠曝光圖像是HDR圖像重建中最關鍵的問題，本文主要研究由欠曝光LDR圖像重建HDR圖像。通過對基準和最近發布的具有挑戰性的數據集進行大量的定量和定性實驗，證明與最新的單圖像HDR重建和深度估計算法相比，所提出的方法實現了非凡的性能。

目前，HDR圖像重建技術得到了廣泛的應用。HDR圖像通常包含更多的紋理信息，能夠給人類帶來更好的視覺體驗，因此被廣泛應用于攝影、基于物理的渲染、計算機游戲、電影、醫學和工業成像等領域。由于數字高分辨率相機通常非常昂貴，從傳統數碼相機捕獲的圖像生成高分辨率圖像的高分辨率圖像重建算法己成為高分辨率成像的一種常用方法。鑒于高分辨率成像可以在極暗和極亮區域保留細節，它有很大的潛力來幫助各種任務，特別是深度估計，它依賴于精確的顏色和強度信息來探索像素空間關系來估計深度，而曝光正常的LDR圖像的深度誤差要小得多。曝光不足的LDR圖像通常噪聲大，導致光照信息丟失，不利于有效特征的提取。相比之下，HDR保留了豐富的紋理和顏色信息。直觀地說，在黑暗的環境中，人類無法精確地估計場景的深度。受計算機視覺和人眼視覺在不同光照條件下的深度估計性能的啟發，為了更好地獲取被曝光區域的深度信息，我們可以利用HDR技術來解決被曝光區域的深度信息不足問題，從而恢復丟失的深度信息，從而減少深度估計的誤差，也有利于HDR圖像的重建。

逆色調映射可以恢復因曝光不足/曝光過度和顏色量化而丟失的信息。最常用的方法是將傳統相機產生的一系列不同曝光時間的低動態范圍(LDR)圖像進行融合或直接學習單個LDR到HDR的映射，生成HDR圖像，雖然這些方法重建的HDR圖像可以滿足視覺要求，在許多應用中，它們不能反映令人滿意的結果。

發明內容

本發明提出一種有效的方法由欠曝光的LDR圖像重建HDR圖像以及相應的深度圖。首先將HDR重建與深度估計相結合，解決了HDR重建問題。與大多數其他方法接受正常曝光圖像作為輸入相比，本文的過曝光模型網絡以曝光不足的LDR圖像作為輸入來生成不同曝光度的LDR圖像；與大多數重建HDR圖像的方法相比，本文的學習框架是無需HDR圖像作為ground-truth，并以深度損失為約束條件對HDR重建網絡進行訓練。

具體實施方式

本發明將HDR重建的知識和深度估計相結合來設計模型。本發明的核心思路是將深度估計融入到HDR圖像重建模型中，并開發兩個相連的深度神經網絡來解決每個任務。具體步驟如下：

第一步是HDR重建網絡。