[發明專利]一種基于學習的高動態范圍與高分辨率圖像聯合重建方法

有效

• 申請號: 201310334142.7
• 申請日: 2013-08-02
• 公開（公告）號: CN103413286A
• 公開（公告）日: 2013-11-27
• 發明（設計）人: 李曉光;李風慧;卓力;趙寒
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

技術領域

本發明涉及數字圖像處理方法，特別涉及一種基于學習的高動態范圍與高分辨率圖像聯合重建方法。

背景技術

受到圖像成像設備分辨率以及亮度動態范圍的影響，現有的普通攝像機難以對高對比度場景進行較遠距離的高質量成像。高質量的圖像在有效表現高對比度場景的同時，也應當具有較高的空間分辨率。針對圖像的高動態范圍圖像顯示和空間分辨率的重建問題，許多學者已進行了一些卓有成效的研究工作，但他們基本上都是分別獨立進行的。現有的超分辨率復原技術通常假設多幅圖像的曝光參數是不變的、攝像機響應函數的參數以及噪聲參數是已知的；但是，在真實世界中所獲取的圖像通常對以上假設條件難以滿足。因此，在統一技術框架中重建高動態范圍和高分辨率圖像，對圖像融合的理論基礎和實際應用都具有一定的價值。該發明可對高對比度場景進行有效成像，可用于夜街景監控圖像處理或為攝影藝術家提供數碼照片處理工具。

發明內容

本發明的目的在于，將同一場景多幅具有不同曝光參數的低分辨率圖像重建為具有高亮度動態范圍和高分辨率的高質量圖像。這里的高動態范圍指場景亮度對比度在256級以上，高分辨率指空間分辨率放大2倍以上。

為了達到上述目的，本發明采用基于示例學習的框架進行高動態范圍和高分辨率圖像的聯合重建。通過對示例樣本的學習，建立LDR-LR(Low?Dynamic?Range?–?Low?Resolution)與HDR-HR(High?Dynamic?Range-High?Resolution)之間的映射關系。通過合理組織樣本，分類訓練學習模型等策略在無需人為交互的情況下實現HDR-HR圖像的聯合重建。整體流程圖如附圖1所示。算法分為離線訓練和在線重建兩部分。其流程圖分別如附圖2和附圖3所示。離線部分包括學習樣本采集、組織和分類預測器訓練部分。樣本采集過程根據場景亮度不同分為三類分別進行。采用K均值聚類方法對樣本文件進行組織。然后，對分類預測器進行訓練。

在線部分對輸入的至少3幅具有不同曝光參數的LR-LDR圖像進行HDR-HR重建。首先，通過輸入圖像的平均圖像進行場景的背景亮度分類；然后，根據亮度分類結果，利用離線部分訓練好的分類預測器對輸入圖像進行動態范圍和細節信息的預測，最終重建細節信息。

該方法具體包括以下步驟：

（一）離線訓練部分

1）示例樣本的提取與組織?

訓練圖像庫由多組訓練圖像組成，每組訓練圖像為同一場景的至少3幅具有不同曝光參數的低分辨率圖像和一幅對應的目標圖像；圖像序列可由分辨率相對較低的相機拍攝具有不同曝光參數的圖像I_LDR-LRi，i=-1,0,1,?和一幅對應的目標圖像I_HDR-HR；其中I_LDR-LR0為正常曝光圖像，即采用自動曝光設置的相機采集的圖像，設其曝光時間為t₀，I_LDR-LR-1為曝光時間小于t₀時采集的圖像，即曝光時間短的圖像，I_LDR-LR1為曝光時間大于t₀時采集的圖像，即曝光時間長的圖像；目標圖像可通過光學記錄儀器記錄場景的真實亮度值，以浮點型數據存儲形成的HDR圖像，然后經過色調映射方法映射為能夠體現高對比度場景且可在顯示設備上顯示的圖像。訓練圖像也可由現有的浮點HDR圖像模擬產生。示例樣本是由成對的圖像信息塊組成，即HDR-HR圖像塊和相應的LDR-LR圖像信息塊。

HDR-HR和LDR-LR圖像細節信息的提取：首先通過雙邊濾波器對每幅輸入圖像和HDR-HR圖像進行濾波得到圖像的基本層，取原圖像與基本層圖像的差值圖像作為細節信息：

L_HDR-HR?=?I_HDR-HR－BF(I_HDR-HR)????????????????????????(1)

相應的LR-LDR圖像的細節信息如下式計算：

L_LDR-LRi?=?I_LDR-LRi－BF(I_i)???i=-1,0,1????????????????????(2)