[發明專利]一種視頻染色方法、壓縮方法、系統及電子設備

在審

• 申請號: 202210474083.2
• 申請日: 2022-04-29
• 公開（公告）號: CN114862712A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 戴文睿;李劭輝;李成林;鄒君妮;熊紅凱
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;H04N19/42;G06N3/08
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀;張琳

本發明提供一種視頻染色方法，包括：使用神經網絡從參考幀與目標幀的灰度信息中提取多層特征圖；基于所述多層特征圖進行光流預測和光流優化；利用光流優化獲得的結果將所述參考幀中的顏色傳播到所述目標幀上。本發明改善了光流長時預測的準確率，所生成的彩色視頻幀保真度更優、色彩更加準確，具有極強的實際應用價值。應用在視頻編碼任務上，可以在保持重構質量的前提下達到減少碼率的效果。

技術領域

本發明涉及基于光流優化的視頻染色方案，具體是一種視頻染色方法、壓縮方法、系統及電子設備。

背景技術

視頻染色是利用參考顏色信息對僅具有灰度信息的視頻幀上色的過程。視頻染色的參考信息可以是使用者手動指定的，也可以是從參考圖像中提取的。而基于訓練和學習的視頻染色方法也隨著深度學習技術的發展而興起。經過對現有技術的文獻檢索發現，Cheng等人在2015年的《Internat ional Conference on Computer Vision》(ICCV)會議上發表了“Deep Colorizat ion”提出了使用深度學習技術解決染色問題，該方法通過深度神經網絡生成灰度圖像的顏色信息、并采用聯合雙邊濾波進一步改善顏色信息。Zhang等人在2019年的《IEEE Conference on Computer Vision and Pattern Recognition》(CVPR)會議上發表了“Deep exemplar-based video colorization”利用VGG-net提取彩色視頻幀與灰度視頻幀的局部特征，使用相關矩陣計算不同位置的局部特征的全局相關性，并采用神經網絡對灰度視頻幀進行染色。而基于光流的染色方法則使用手工設計的方法實現光流預測和顏色傳播。Xia等人在2016年的《IEEE Internat ional Conference on ImageProcessing》(ICIP)會議上發表“Robust and automatic video colorization viamultiframe reordering refinement”使用稠密光流估計技術預測光流，并利用置信傳播實現顏色傳播。

然而，上述方法中：基于深度神經網絡的染色方法受限于訓練所使用的數據集，若應用于與訓練數據集顏色分布有明顯區別的視頻上，在染色過程中會出現明顯的色差。此外，基于光流的方法在長時預測的情況下，染色準確率下降十分明顯。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種視頻染色方法、壓縮方法、系統及電子設備。

根據本發明的一個方面，提供一種視頻染色方法，包括：

使用神經網絡從參考幀與目標幀的灰度信息中提取多層特征圖；

基于所述多層特征圖進行光流預測和光流優化；

利用光流優化獲得的結果將所述參考幀中的顏色傳播到所述目標幀上。

優選地，所述光流預測，包括：

將所述多層特征圖，按照尺寸由小到大的順序，進行排序；

相鄰特征圖中，逐層利用較小尺寸的特征圖的光流信息，預測較大尺寸的特征圖的光流信息；

直至獲得最大尺寸的特征圖的光流信息，作為第一光流信息。

優選地，所述光流優化，包括：將所述參考幀的灰度信息和所述第一光流信息迭代進行灰度傳播與光流更新，獲得第二光流信息。

優選地，第二光流信息記為Δ^*(z)＝(u^*(z),v^*(z))，其中z＝(x,y)為特征圖系數在二維坐標軸的位置，u^*(z)代表像素點在x軸方向上的運動信息，v^*(z)代表像素點在y軸方向上的運動信息，C₁(z)為參考幀顏色信息；

所述顏色傳播通過函數實現，所述函數為：