[發(fā)明專利]高動態(tài)范圍圖像的融合方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202011029162.X
• 申請日: 2020-09-25
• 公開（公告）號: CN112288664A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計）人: 熊鵬飛;肖坤濤
• 申請（專利權(quán)）人: 北京邁格威科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 何少巖

1.一種高動態(tài)范圍圖像的融合方法，其特征在于，包括：

獲取目標(biāo)場景的多張待融合圖像，其中，所述多張待融合圖像的尺度相同，且至少兩張待融合圖像的曝光補償值不同；

根據(jù)第一融合模型對所述多張待融合圖像進(jìn)行第一融合，得到第一融合圖像；

采用第二融合模型對所述第一融合圖像和所述多張待融合圖像進(jìn)行第二融合，得到目標(biāo)融合圖像。

2.根據(jù)權(quán)利要求1所述的融合方法，其特征在于，根據(jù)第一融合模型對所述多張待融合圖像進(jìn)行第一融合包括：

將所述多張待融合圖像輸入至所述第一融合模型，得到多張第一融合系數(shù)特征圖，其中，一張第一融合系數(shù)特征圖與一張待融合圖像對應(yīng)；

將所述多張待融合圖像與所述多張第一融合系數(shù)特征圖進(jìn)行加權(quán)運算，得到所述第一融合圖像。

3.根據(jù)權(quán)利要求1所述的融合方法，其特征在于，所述方法還包括：

將所述多張待融合圖像縮放至預(yù)設(shè)尺度，得到預(yù)設(shè)尺度的多張待融合圖像，進(jìn)而再將所述預(yù)設(shè)尺度的多張待融合圖像輸入至所述第一融合模型。

4.根據(jù)權(quán)利要求2所述的融合方法，其特征在于，所述多張第一融合系數(shù)特征圖包括：預(yù)設(shè)尺度的多張第一融合系數(shù)特征圖，將所述多張待融合圖像與所述多張第一融合系數(shù)特征圖進(jìn)行加權(quán)運算包括：

將所述預(yù)設(shè)尺度的多張第一融合系數(shù)特征圖縮放至目標(biāo)尺度，得到目標(biāo)尺度的多張第一融合系數(shù)特征圖，其中，所述目標(biāo)尺度等于所述多張待融合圖像的尺度；

將所述多張待融合圖像與所述目標(biāo)尺度的多張第一融合系數(shù)特征圖進(jìn)行加權(quán)運算，得到所述第一融合圖像。

5.根據(jù)權(quán)利要求1所述的融合方法，其特征在于，采用第二融合模型對所述第一融合圖像和所述多張待融合圖像進(jìn)行第二融合包括：

將所述第一融合圖像和所述多張待融合圖像中的目標(biāo)待融合圖像輸入至所述第二融合模型，得到與所述目標(biāo)待融合圖像對應(yīng)的第二融合系數(shù)特征圖，其中，所述目標(biāo)待融合圖像為所述多張待融合圖像中的一張；

根據(jù)所述第二融合系數(shù)特征圖、所述第一融合圖像和所述目標(biāo)待融合圖像進(jìn)行圖像融合，得到所述目標(biāo)融合圖像。

6.根據(jù)權(quán)利要求5所述的融合方法，其特征在于，所述方法還包括：

將所述第一融合圖像和所述多張待融合圖像中的目標(biāo)待融合圖像縮放至預(yù)設(shè)尺度，得到預(yù)設(shè)尺度的第一融合圖像和預(yù)設(shè)尺度的目標(biāo)待融合圖像，進(jìn)而再將所述預(yù)設(shè)尺度的第一融合圖像和所述預(yù)設(shè)尺度的目標(biāo)待融合圖像輸入至所述第二融合模型。

7.根據(jù)權(quán)利要求5所述的融合方法，其特征在于，所述第二融合系數(shù)特征圖包括：預(yù)設(shè)尺度的第二融合系數(shù)特征圖，根據(jù)所述第二融合系數(shù)特征圖、所述第一融合圖像和所述目標(biāo)待融合圖像進(jìn)行圖像融合包括：

將所述預(yù)設(shè)尺度的第二融合系數(shù)特征圖縮放至目標(biāo)尺度，得到目標(biāo)尺度的第二融合系數(shù)特征圖，其中，所述目標(biāo)尺度等于所述目標(biāo)待融合圖像的尺度；

將所述目標(biāo)待融合圖像和所述目標(biāo)尺度的第二融合系數(shù)特征圖進(jìn)行乘積運算，得到第二融合圖像；

將所述第一融合圖像和所述第二融合圖像進(jìn)行加和運算，得到所述目標(biāo)融合圖像。

8.根據(jù)權(quán)利要求1-7任一項所述的融合方法，其特征在于，所述方法還包括：

部署所述第一融合模型的第一原始融合模型和所述第二融合模型的第二原始融合模型，其中，所述第二原始融合模型與所述第一原始融合模型串聯(lián)；

獲取訓(xùn)練樣本集合，其中，所述訓(xùn)練樣本集合中包括：多組訓(xùn)練樣本圖像和基于每組訓(xùn)練樣本圖像中的多張第一原始圖像融合得到的融合圖像，所述多張第一原始圖像為在相同位置以不同曝光補償值對第一預(yù)設(shè)場景拍攝得到的，所述每組訓(xùn)練樣本圖像中還包括多張第二原始圖像，所述多張第二原始圖像為在所述相同位置以不同曝光補償值對第二預(yù)設(shè)場景拍攝得到的，所述第二預(yù)設(shè)場景為所述第一預(yù)設(shè)場景中目標(biāo)對象發(fā)生移動后的場景；

通過所述訓(xùn)練樣本集合對所述第一原始融合模型和所述第二原始融合模型進(jìn)行訓(xùn)練，得到所述第一融合模型和所述第二融合模型。