[發明專利]高動態范圍圖像的融合方法、裝置和電子設備

在審

• 申請號: 202011029162.X
• 申請日: 2020-09-25
• 公開（公告）號: CN112288664A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 熊鵬飛;肖坤濤
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何少巖

本發明提供了一種高動態范圍圖像的融合方法、裝置和電子設備，包括：獲取目標場景的多張待融合圖像；根據第一融合模型對多張待融合圖像進行第一融合，得到第一融合圖像；采用第二融合模型對第一融合圖像和多張待融合圖像進行第二融合，得到目標融合圖像。本發明采用融合模型對多張待融合圖像進行融合，由于融合模型在訓練時，其明確最終要學習的目標，而傳統的融合方法并不明確最終的融合圖像，只是在多張待融合圖像中確定要選取的像素點，所以，本發明的方法最終得到的目標融合圖像的效果更好，另外，采用融合模型對多張待融合圖像實現的融合，效率更高，緩解了現有的高動態范圍圖像的融合方法融合效果差，融合效率低的技術問題。

技術領域

本發明涉及圖像融合的技術領域，尤其是涉及一種高動態范圍圖像的融合方法、裝置和電子設備。

背景技術

高動態范圍圖像(High-Dynamic Range,HDR)，其目的是將多張不同曝光的圖像融合成一張亮度均勻細節豐富的圖像。其在手機或相機的圖像超畫質中有著廣泛的應用。

現有技術往往通過計算兩張圖像之間的像素差異，選擇更合適的像素點來融合為一張圖像。該選擇方法可以是圖像中梯度更大的點，也可以是亮圖像中較暗的點和暗圖像較亮的點。

如圖1(a)和圖1(b)所示，分別為兩張不同曝光的圖像，圖1(c)為對應的合成圖像。其中，亮圖像中過曝區域選擇了暗圖像，而暗圖像中過暗的區域則選擇了亮圖像，從而融合得到一張亮度均勻細節豐富的圖像。

傳統的高動態范圍圖像的融合方法主要存在以下問題：第一，圖像融合需要兩張圖像完全對齊，但在實際場景下，圖像對齊往往很難實現，這就導致融合后的圖像出現鬼影現象；第二，由于兩張圖像的像素點選擇是一個完全未知的過程，因此融合后的圖像很容易出現亮度不均勻的融合問題；第三，由于需要針對每個像素點進行融合，因此計算量很大，在手機場景下往往會速度受限。

綜上，現有的高動態范圍圖像的融合方法存在融合效果差，融合效率低的技術問題。

發明內容

有鑒于此，本發明的目的在于提供一種高動態范圍圖像的融合方法、裝置和電子設備，以緩解現有的高動態范圍圖像的融合方法融合效果差，融合效率低的技術問題。

第一方面，本發明實施例提供了一種高動態范圍圖像的融合方法，包括：獲取目標場景的多張待融合圖像，其中，所述多張待融合圖像的尺度相同，且至少兩張待融合圖像的曝光補償值不同；根據第一融合模型對所述多張待融合圖像進行第一融合，得到第一融合圖像；采用第二融合模型對所述第一融合圖像和所述多張待融合圖像進行第二融合，得到目標融合圖像。

進一步的，根據第一融合模型對所述多張待融合圖像進行第一融合包括：將所述多張待融合圖像輸入至所述第一融合模型，得到多張第一融合系數特征圖，其中，一張第一融合系數特征圖與一張待融合圖像對應；將所述多張待融合圖像與所述多張第一融合系數特征圖進行加權運算，得到所述第一融合圖像。

進一步的，所述方法還包括：將所述多張待融合圖像縮放至預設尺度，得到預設尺度的多張待融合圖像，進而再將所述預設尺度的多張待融合圖像輸入至所述第一融合模型。

進一步的，所述多張第一融合系數特征圖包括：預設尺度的多張第一融合系數特征圖，將所述多張待融合圖像與所述多張第一融合系數特征圖進行加權運算包括：將所述預設尺度的多張第一融合系數特征圖縮放至目標尺度，得到目標尺度的多張第一融合系數特征圖，其中，所述目標尺度等于所述多張待融合圖像的尺度；將所述多張待融合圖像與所述目標尺度的多張第一融合系數特征圖進行加權運算，得到所述第一融合圖像。