[發明專利]一種基于學習的高動態范圍與高分辨率圖像聯合重建方法

有效

• 申請號: 201310334142.7
• 申請日: 2013-08-02
• 公開（公告）號: CN103413286A
• 公開（公告）日: 2013-11-27
• 發明（設計）人: 李曉光;李風慧;卓力;趙寒
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于學習的高動態范圍與高分辨率圖像聯合重建方法，高動態范圍指場景亮度對比度在256級以上，高分辨率指空間分辨率放大2倍以上；由圖像采集設備對高對比度場景進行采集，將光學信號以不同曝光參數轉化為多幅數字圖像，存儲在采集設備的存儲器中；計算機讀入圖像，在處理器中進行高動態范圍與高分辨率圖像聯合重建；所述的聯合重建結果以數據庫的形式存放并直接存儲在本地硬盤，或通過網絡存儲設備進行網絡存儲；所述的基于學習的高動態范圍與高分辨率圖像聯合重建方法包括離線訓練部分和在線重建兩部分；

所述的離線訓練部分包括示例樣本的采集與組織和分類預測器訓練步驟；其目的是通過學習方法獲得LDR-LR即低動態范圍與低分辨率圖像與HDR-HR即高動態范圍與高分辨率圖像信息之間的映射關系，以指導HDR-HR圖像聯合重建；

所述的在線重建部分對輸入的多幅具有不同曝光參數的LDR-LR圖像進行HDR-HR重建；首先，通過輸入圖像的平均圖像進行場景的背景亮度分類；然后，根據亮度分類結果，利用離線部分訓練好的分類預測器對輸入圖像進行高動態范圍和高分辨率細節信息預測，最后通過LDR-LR觀測模型約束最終重建HDR-HR圖像。?

2.根據權利要求1所述的一種基于學習的高動態范圍與高分辨率圖像聯合重建方法，其特征在于，所述的離線訓練部分，具體步驟如下：

2.1示例樣本的提取與組織：?

訓練圖像庫由多組訓練圖像組成，每組訓練圖像為同一場景的至少3幅具有不同曝光參數的低分辨率圖像I_LDR-LRi，i=-1,0,1,?和一幅對應的目標圖像I_HDR-HR；其中I_LDR-LR0為正常曝光圖像，即采用自動曝光設置的相機采集的圖像，設其曝光時間為t₀，I_LDR-LR-1為曝光時間小于t₀時采集的圖像，即曝光時間短的圖像，I_LDR-LR1為曝光時間大于t₀時采集的圖像，即曝光時間長的圖像；圖像序列由分辨率相對較低的相機拍攝具有不同曝光參數的圖像序列得到，目標圖像通過光學記錄儀器記錄場景的真實亮度值，以浮點型數據存儲形成的HDR圖像，然后經過色調映射方法映射為能夠體現高對比度場景且能在顯示設備上顯示的圖像；訓練圖像或者由現有的浮點HDR圖像模擬產生；示例樣本是由成對的圖像信息塊組成，即HDR-HR圖像信息塊和相應的LDR-LR圖像信息塊；

HDR-HR和LDR-LR圖像細節信息的提取：首先通過雙邊濾波器對每幅輸入圖像和HDR-HR圖像進行濾波得到圖像的基本層，取原圖像與基本層圖像的差值圖像作為細節信息；L_HDR-HR為目標圖像的細節信息：

L_HDR-HR?=?I_HDR-HR－BF(I_HDR-HR)????????????????????????(1)

LR-LDR圖像的細節信息L_LDR-LRi如下式計算：

L_LDR-LRi?=?I_LDR-LRi－BF(I_i)???i=-1,0,1????????????????????(2)

其中BF(I_{HDR_HR})為雙邊濾波器對圖像I_{HDR_HR}濾波后的結果圖像，即基本層圖像；

在樣本采集時，對HDR-HR場景進行了背景亮度分類；具體為對所有LDR-LR圖像的平均圖像I_average進行聚類分割，將圖像分為亮區，適中區和暗區3個區域；成對的訓練樣本塊從L_HDR-HR和L_LDR-LRi中提取；其中i取決于背景亮度的聚類分割結果；在亮區從L_HDR-HR和L_LDR-LR-1中提取樣本，在適中區從L_HDR-HR和L_LDR-LR0中提取樣本，而在暗區則從L_HDR-HR和L_LDR-LR1中提取樣本；

圖像L_HDR-HR中任意一個圖像信息塊，在圖像L_LDR-LR中都能找到一個對應的LDR-LR圖像信息塊；當下采樣倍數為2?時，L_HDR-HR中的圖像信息塊大小設為4×4，則在L_LDR-LRi中對應的LDR-LR塊為2×2大小的圖像信息塊；為了同時考慮圖像信息塊與相鄰塊之間的內容連續性，我們將L_LDR-LR中的LDR-LR塊向周邊擴展一個像素；這樣由兩幅差圖像中對應位置的圖像信息塊構成一個成對的訓練樣本：

T=[x0,x1,···x15,y0,y1,···y15]T---(3)]]>

其中，[x₀,x₁,…x₁₅]是LDR-LR圖像的16維細節信息，[y₀,y₁,…y₁₅]是HDR-HR圖像的16維細節信息；

樣本圖像中所有位置的圖像信息塊都被選為訓練樣本，在對I_average聚類分割中被劃分為同一個類別區域所提取的樣本構成一個樣本庫；因此，采集適用于亮區、暗區和適中區域的三個樣本庫；

2.2分類預測器訓練：

對于每個樣本庫，訓練一個分類預測器；分類預測的設計部分，分類預測器由一組子預測器構成，每個類別分別對應一個線性子預測器；?

對于給定樣本庫，?LDR-LR部分樣本的內容被劃分為若干類別；每個區域的內容具有相似的特征；算法將輸入的LDR-LR樣本示例進行基于內容的分類；對于每個類別，設計一個預測器，用于預測同一類別的LR-LDR圖像信息塊對應的細節信息；樣本庫的組織與訓練具體方法如下：

對LR-LDR樣本塊進行聚類，將訓練樣本庫劃分為若干樣本子空間，并通過分類來組織輸入圖像的內容；每個類別用一個編碼矢量表示，得到一個由每類的編碼矢量組成的碼本；算法將每個樣本分為一類，產生一個樣本分類的編碼列表；

碼本的產生過程和訓練樣本庫的分類過程并是離線進行的；利用采集到的3個訓練樣本庫分別進行離線訓練；得到碼本后，訓練樣本根據碼本進行分類，即對給定樣本中的LDR-LR特征矢量，在碼本中尋找與之距離最近的編碼矢量，然后將該樣本劃分到該編碼矢量所代表的類別中；

訓練樣本庫的類別數為N，聚類后生成一個由N?個碼字組成的碼本CB，每個碼字為一個編碼矢量：

CB={ci|ci∈R16,i=0,1,...,N-1}---(4)]]>

其中，R¹⁶表示16維實數矢量空間；

分類預測器的訓練過程就是訓練每個子預測器的過程；子預測器采用簡單的最小均方誤差準則預測器；各子預測器的輸出y_i為：

yi=Σj=016xj′wi,j,i=1,2,...16---(5)]]>

其中，x?'為訓練樣本中的矢量：

x′={x0,x1,...,x15}---(6)]]>

訓練過程中，權值矩陣初始化為零；訓練過程采用訓練樣本庫中相應類別的樣本子集合進行。?

3.根據權利要求1所述的一種基于學習的高動態范圍與高分辨率圖像聯合重建方法，其特征在于，所述的在線重建部分，具體步驟如下：

3.1場景背景亮度分類：

在線重建部分選用至少3幅低分辨率低動態圖像作為實驗輸入圖像，J_-1為一曝光時間過短圖像，J₁為一曝光時間過長圖像，J₀為一曝光時間正常圖像；其中曝光時間正常圖像指將相機設置為自動曝光時獲取的圖像，設其曝光時間為t₀，曝光時間過短圖像指采用比自動曝光時間t₀少的曝光時間拍攝的圖像，曝光時間過長的圖像指采用比自動曝光時間t₀長的曝光時間拍攝的圖像；

為了保持場景整體亮度動態范圍，選擇3幅實驗輸入圖像的平均圖像作為場景背景估計圖像，對中間圖像進行K均值聚類獲得場景亮度分類；依據亮度分類結果，在每個區域的像素進行重建的過程中分別采用對應類別的分類預測器進行預測；

預測時，輸入數據首先通過樣本分類過程產生的碼本進行編碼，即分類；然后根據其類別選擇對應的子預測器進行預測；

3.2分類預測學習及其重建：

對于重建目標HDR-HR圖像J_HDR-HR中每個4×4的圖像信息塊，在輸入的LDR-LR圖像都有對應位置的4×4塊；這種位置對應關系與訓練樣本提取過程中的對應關系相同，即圖像重建目標圖像中任意一個圖像信息塊，在圖像LDR-LR圖像中都能找到一個對應的LDR-LR圖像信息塊；當上采樣倍數為2?時，HDR-HR中的圖像信息塊大小設為4×4，則在LDR-LR中對應的圖像信息塊為2×2大小的圖像信息塊；為了同時考慮圖像信息塊與相鄰塊之間的內容連續性，我們將LDR-LR圖像細節信息L’_LDR-LR中的LDR-LR塊向周邊擴展一個像素；

對于3幅輸入圖像獲得其平均圖像后，對其進行插值放大獲得HDR-HR場景的初始估計圖像；對其進行雙邊濾波器濾波取差值圖像獲得輸入圖像LDR-LR的細節信息；根據樣本提取方式對輸入LDR-LR圖像對應圖像信息塊提取相應特征矢量，將該特征矢量作為分類預測器的輸入，預測對應位置HDR-HR塊的細節信息；整體HDR-HR圖像細節信息層的重建過程采用一個4×4?像素的窗口在HDR-HR目標圖像坐標上滑動，水平和垂直步長為2個像素；對每個窗口位置進行細節信息預測；圖像中相同位置的細節信息由于窗口的重疊會產生多個預測值，將所有的預測值進行平均得到預測結果；

對應于3幅輸入圖像來說，對應亮區J_-1圖像相對應的細節比較多，對應暗區J₁圖像相對應的細節比較多，對應正常區域J₀圖像相對應的細節比較多；因此，在用分類預測器用于進行細節信息的預測時，分別對應于不同的亮度區域，采用不同的輸入圖像指導細節信息的預測，最后估計得到的細節信息層疊加到初始估計圖像中形成輸出HDR-HR圖像；

為了保證估計HDR-HR圖像結果接近理想高分辨率圖像的約束，通常采用LDR-LR圖像觀測模型約束；求解最優化問題，得到最終的HDR-HR圖像J_HDR-HR。