[發明專利]視頻圖像色彩增強的方法、裝置、設備及存儲介質

有效

• 申請號: 202010911211.6
• 申請日: 2020-09-02
• 公開（公告）號: CN112019827B
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 唐杰;張聰聰;李慶瑜;戴立言
• 申請（專利權）人: 上海網達軟件股份有限公司
• 主分類號: H04N9/64
• 分類號: H04N9/64
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明公開了一種視頻圖像色彩增強的方法、裝置、設備及存儲介質，針對傳統的色彩增強方法不能解決影視劇復雜多變場景下圖像色彩增強的不確定性和魯棒性的問題，通過FFmpeg對視頻進行解碼，得到視頻圖像，將視頻圖像輸入色彩增強網絡進行色彩增強操作后，得到色彩增強圖像，再利用深度學習模型對色彩增強圖像進行細節紋理特征、圖像亮度及目標前景等作進一步豐富和改善，提高視頻圖像的視覺效果，適用于復雜多場景的視頻圖像處理。

技術領域

本發明屬于圖像處理的技術領域，尤其涉及一種視頻圖像色彩增強的方法、裝置、設備及存儲介質。

背景技術

視頻圖像就是連續的靜態圖像的序列，是一種對客觀事物更為形象，生動地描述。視頻圖像處理系統即基于圖像處理算法對視頻圖像進行處理的系統。

在視頻處理領域中，主觀視覺質量的改善是視頻增強的一個主要內容，而色彩增強技術是視頻增強的一個重要方面。

傳統的色彩增強方法存在以下問題：(1)參數不是針對所有場景都最優，如能提高一個風景場景的圖像對比度的曲線參數，對人臉圖像序列的視覺效果就有損傷。(2)很難獲得更好的顏色再現。因為傳統的顏色再現對整個圖像的顏色都有影響，不只是對選擇的物體的某些顏色。

因此，傳統的色彩增強方法不適用于擁有復雜多場景的影視劇的視頻圖像的處理。

發明內容

本發明的目的是提供一種視頻圖像色彩增強的方法、裝置、設備及存儲介質，解決影視劇復雜多變場景下圖像色彩增強的不確定性和魯棒性，同時豐富感興趣目標細節，提高影視劇的視覺效果。

為解決上述問題，本發明的技術方案為：

一種視頻圖像色彩增強的方法，包括：

獲取一視頻數據，對視頻數據進行預處理，得到用于深度學習的原始圖像；

將原始圖像輸入色彩增強網絡進行色彩增強操作，得到相應的色彩增強圖像；

將色彩增強圖像輸入深度學習模型，處理色彩增強圖像的細節紋理特征、圖像亮度及目標前景，得到圖像處理后的視頻數據；所述目標前景是指色彩增強圖像中感興趣的物體。

根據本發明一實施例，所述獲取一視頻數據，對視頻數據進行預處理進一步包括：

獲取一HDR視頻，采用FFmpeg對HDR視頻進行解碼，得到一SDR圖像及HDR圖像對；

將HDR圖像輸入Mask R-CNN模型中進行目標檢測，得到HDR目標圖像及mask圖像；

將SDR圖像作為深度學習的原始圖像，將HDR目標圖像作為網絡監督的色彩增強圖像，將mask圖像作為目標掩膜圖像。

根據本發明一實施例，所述將原始圖像輸入色彩增強網絡進行色彩增強，得到相應的色彩增強圖像操作進一步包括：

將SDR圖像輸入CEnet網絡層進行圖像分割，得到第一圖像數據；

所述第一圖像數據經高斯函數模糊處理后，得到第二圖像數據；

將第一圖像數據與第二圖像數據作差，得到差值圖像數據；

對差值圖像數據作三層卷積后，與mask圖像融合，得到色彩增強圖像。

根據本發明一實施例，所述將色彩增強圖像輸入深度學習模型，處理色彩增強圖像的細節紋理特征、圖像亮度及目標前景進一步包括：

所述深度學習模型采用下列代價函數進行有效的監督學習：

loss_ce＝Σ|y-gt|

loss_detail＝Σ|(y-gassian(y))-(gt-gassian(gt))|