[發明專利]一種基于自編碼機的HDR單幀合成方法

在審

• 申請號: 202110603392.0
• 申請日: 2021-05-31
• 公開（公告）號: CN113852765A
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 曹靖城;吳宇松;史國杰
• 申請（專利權）人: 天翼智慧家庭科技有限公司
• 主分類號: H04N5/235
• 分類號: H04N5/235;H04N19/85;G06N3/04;G06N3/08
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 蔡悅;陳斌

1.一種基于單幀合成的用于生成HDR視頻的方法，其特征在于，所述方法包括：

將LDR視頻文件逐一抽幀；

將每個LDR視頻幀分別輸入偽高曝生成模型和偽低曝生成模型以分別取得相應編碼器輸出的高曝特征向量和低曝特征向量，其中所述偽高曝生成模型和所述偽低曝生成模型被用于分別生成輸入圖像所對應的高曝圖像和低曝圖像；

將所取得的高曝特征向量和低曝特征向量輸入多曝光圖片融合模型以得到經處理的HDR視頻幀，其中所述多曝光圖片融合模型利用卷積神經網絡進行特征提取，將對應特征向量進行融合，并且利用反卷積網絡重建輸入圖像；以及

將經處理的多個HDR視頻幀重新組合成HDR視頻。

2.如權利要求1所述的方法，其特征在于，所述偽高曝生成模型和所述低曝生成模型利用卷積神經網絡將輸入圖像進行下采樣以提取圖像特征并且利用反卷積網絡將圖像特征上采樣以分別生成所述輸入圖像所對應的高曝圖像和低曝圖像。

3.如權利要求1所述的方法，其特征在于，所述偽高曝生成模型和所述低曝生成模型是通過以下方式來訓練得到的：

對所述偽高曝生成模型和所述低曝生成模型進行權值初始化；

使用一批RAW格式HDR圖像生成的低曝、高曝和正常曝光圖像作為數據集進行訓練，其中正常曝光圖像作為所述偽高曝生成模型和所述偽低曝生成模型的輸入數據，高曝圖片和低曝圖像分別作為所述偽高曝生成模型和所述偽低曝生成模型的目標輸出(groundtruth)；

所述輸入數據經過所述偽高曝生成模型和所述低曝生成模型得到實際輸出數據；以及

使用圖像結構相似度計算函數SSIM作為損失函數來對所述偽高曝生成模型和所述低曝生成模型進行優化。

4.如權利要求1所述的方法，其特征在于，所述多曝光圖片融合模型是通過以下方式來訓練得到的：

對所述多曝光圖片融合模型進行權值初始化；

使用所述高曝特征向量和所述低曝特征向量作為輸入，對應的HDR原圖作為所述多曝光圖片融合模型的目標輸出(ground truth)進行訓練；

所述輸入數據經過所述多曝光圖片融合模型得到實際輸出數據；以及

使用圖像結構相似度計算函數SSIM作為損失函數來對所述多曝光圖片融合模型進行優化。

5.如權利要求1所述的方法，其特征在于，所述特征提取進一步包括：

所述多曝光圖片融合模型利用卷積神經網絡來對所取得的高曝特征向量和低曝特征向量進行特征提取，其中所述高曝特征向量和所述低曝特征向量的對應卷積層共用相同的權重信息。

6.一種基于單幀合成的用于生成HDR視頻的系統，其特征在于，所述系統包括：

視頻預處理模塊，所述視頻預處理模塊被配置成將LDR視頻文件逐一抽幀；

偽曝光生成模塊，所述偽曝光生成模塊被配置成將每個LDR視頻幀分別輸入偽高曝生成模型和偽低曝生成模型以分別取得相應編碼器輸出的高曝特征向量和低曝特征向量，其中所述偽高曝生成模型和所述偽低曝生成模型被用于分別生成輸入圖像所對應的高曝圖像和低曝圖像；

多曝光圖片融合模塊，所述多曝光圖片融合模塊被配置成將所取得的高曝特征向量和低曝特征向量輸入多曝光圖片融合模型以得到經處理的HDR視頻幀，其中所述多曝光圖片融合模型利用卷積神經網絡進行特征提取，將對應特征向量進行融合，并且利用反卷積網絡重建輸入圖像；以及

視頻重構模塊，所述視頻重構模塊被配置成將經處理的多個HDR視頻幀重新組合成HDR視頻。

7.如權利要求6所述的系統，其特征在于，所述偽高曝生成模型和所述低曝生成模型利用卷積神經網絡將輸入圖像進行下采樣以提取圖像特征，并且利用反卷積網絡將圖像特征上采樣以分別生成所述輸入圖像所對應的高曝圖像和低曝圖像。