[發明專利]一種基于自編碼機的HDR單幀合成方法

在審

• 申請號: 202110603392.0
• 申請日: 2021-05-31
• 公開（公告）號: CN113852765A
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 曹靖城;吳宇松;史國杰
• 申請（專利權）人: 天翼智慧家庭科技有限公司
• 主分類號: H04N5/235
• 分類號: H04N5/235;H04N19/85;G06N3/04;G06N3/08
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 蔡悅;陳斌

本發明提供了一種基于自編碼機的HDR單幀合成的用于生成HDR視頻的方法和系統。方法包括：將LDR視頻文件逐一抽幀；將每個LDR視頻幀分別輸入偽高曝生成模型和偽低曝生成模型以分別取得相應編碼器輸出的高曝特征向量和低曝特征向量，其中所述偽高曝生成模型和所述偽低曝生成模型被用于分別生成輸入圖像所對應的高曝圖像和低曝圖像；將所取得的高曝特征向量和低曝特征向量輸入多曝光圖片融合模型以得到經處理的HDR視頻幀，其中所述多曝光圖片融合模型利用卷積神經網絡進行特征提取，將對應特征向量進行融合，并且利用反卷積網絡重建輸入圖像；以及將經處理的多個HDR視頻幀重新組合成HDR視頻。

技術領域

本發明涉及人工智能及圖像處理領域，更具體地，涉及基于自編碼機的HDR單幀合成方法。

背景技術

在圖像領域中，動態范圍(Dynamic Range)指在圖像可顯示范圍內最大灰度值與最小灰度值之間的比率。對于真實世界中的自然場景，從直射的太陽光到樹下的陰影，最亮的光照亮度與最暗光照亮度的比值大約有10⁴個數量級。

高動態范圍(High-Dynamic Range，簡稱HDR)視頻與低動態范圍(Low-DynamicRange，簡稱LDR)視頻相比，能夠更加準確的記錄真實場景的絕大部分色彩和光照信息，并能表現出豐富的色彩細節和明暗層次，而且能夠提供更高的對比度、更豐富的信息和更真實的視覺感受。

近年來支持高動態范圍的顯示設備越來越多，同時隨著通訊技術的發展，HDR視頻的帶寬壓力也將不再是問題，但國內HDR視頻源的數量依然有限，不管是影視作品還是電視節目，大都是低動態范圍的視頻，與越來越先進的顯示設備相比，視頻源的質量不能滿足用戶對更好觀看體驗的要求。目前雖然已經有能夠直接拍攝HDR的拍攝設備，但因為成本原因，大部分HDR圖片都是通過多幀不同曝光的LDR圖片計算融合的，傳統方法是經過純數學方法對多曝光圖片進行圖片配準和融合計算，近年來也有以DeepFusion為代表的基于深度學習方法的HDR多曝光合成算法出現，以上方法在拍攝目標靜止時有很好的效果，但是當拍攝目標有明顯移動時，多曝光合成會面臨鬼影(Ghosting)問題。當前HDR相關研究多集中在去鬼影(de-Ghosting)問題。

中國專利申請“一種適用于LDR視頻的HDR視頻生成方法”(CN106506983B)提出了一種適用于LDR視頻的HDR視頻生成方法，該專利將一個正常曝光的圖像轉化為有著不同亮度的偽曝光圖像，再通過金字塔算法求出對于LDR視頻幀對應的HDR圖像。但該專利使用的是純數學方法計算，平均亮度控制參數、對比度測量因子C、飽和度測量因子S、曝光度測量因子E等參數均是人工設定，在處理不同的LDR視頻源時，算法的穩定性難以保證。

中國專利申請“一種基于塊匹配動態估計去鬼影的高動態范圍視頻合成方法”(CN106131443A)提出了一種基于塊匹配動態估計算法去鬼影的高動態視頻合成方法，該專利使用塊匹配方法，從輸入的圖片序列中選定參考幀和當前幀，進行灰度化處理后采用ARPS3塊匹配算法計算出當前幀的運動向量，并基于運動向量來檢測當前幀和參考幀各自的運動區域，對特定圖像的運動區域進行合并，得到最終的HDR圖像即視頻幀。該專利的高動態視頻合成方法通過運動估計對鬼影區域進行檢測，并通過融合算法去除鬼影合成HDR視頻幀。但該專利僅適用于視頻拍攝時的HDR視頻合成，不能用于已有的LDR視頻和HDR視頻。

現有的LDR視頻合成HDR視頻的算法中的算子都是手工設定的，而視頻源由于拍攝器材和色彩風格的不同，其飽和度、照度、對比度等色彩信息都有區別，基于純數學方法的手工算子在處理這些風格不同的視頻時，算法的效果不穩定，需要對每個視頻進行單獨調參才能獲得預期效果，效率低下。因此，為了大大提升將LDR視頻轉換成HDR視頻的穩定性和效率，希望提供一種改進的HDR單幀合成方法。

發明內容

提供本發明內容以便以簡化形式介紹將在以下具體實施方式中進一步的描述一些概念。本發明內容并非旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。