[發明專利]一種視頻染色方法、壓縮方法、系統及電子設備

在審

• 申請號: 202210474083.2
• 申請日: 2022-04-29
• 公開（公告）號: CN114862712A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 戴文睿;李劭輝;李成林;鄒君妮;熊紅凱
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;H04N19/42;G06N3/08
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀;張琳

1.一種視頻染色方法，其特征在于，包括：

使用神經網絡從參考幀與目標幀的灰度信息中提取多層特征圖；

基于所述多層特征圖進行光流預測和光流優化；

利用光流優化獲得的結果將所述參考幀中的顏色傳播到所述目標幀上。

2.根據權利要求1所述的一種視頻染色方法，其特征在于，所述光流預測，包括：

將所述多層特征圖，按照尺寸由小到大進行排序，并逐層預測；

所述預測為：相鄰尺寸的特征圖中，利用較小尺寸的特征圖的光流信息，預測較大尺寸的特征圖的光流信息；

直至獲得最大尺寸的特征圖的光流信息，作為第一光流信息。

3.根據權利要求2所述的一種視頻染色方法，其特征在于，所述光流優化，包括：將所述參考幀的灰度信息和所述第一光流信息迭代進行灰度傳播與光流更新，獲得第二光流信息。

4.根據權利要求3所述的一種視頻染色方法，其特征在于，所述第二光流信息記為Δ^*(z)＝(u^*(z),v^*(z))，其中z＝(x,y)為特征圖系數在二維坐標軸的位置，u^*(z)代表像素點在x軸方向上的運動信息，v^*(z)代表像素點在y軸方向上的運動信息，C₁(z)為參考幀顏色信息；

所述顏色傳播通過函數實現，所述函數為：

其中

且

5.根據權利要求2所述的一種視頻染色方法，其特征在于，所述光流預測，包括：

特征變形，所述特征變形包括：

最小尺寸對應的特征層，直接輸出參考幀對應的特征圖；

其他層通過變形函數實現特征變形，包括：

在預測較大尺寸的光流信息時，利用較小尺寸的光流信息對該尺寸下參考幀對應的特征圖進行變形，得到變形后的特征圖；

將第l個尺寸下的參考幀特征圖記為第l-1層預測的光流信息記為w^(l-1)，則變形后的特征圖為而U(w^(l-1))實現對w^(l-1)的上采樣，使其在尺度上與對齊；

損失計算，所述損失計算包括：

輸出特征變形后得到的特征圖與同尺寸下目標幀對應特征圖計算誤差，將同尺寸下目標幀對應特征圖記為則誤差計算輸出為

光流估計，所述光流預估包括：

通過神經網絡實現，輸入第l層尺寸下損失計算所得的誤差∈^(l)、參考幀與目標幀對應的特征圖輸出該層下所得光流

6.根據權利要求3所述的一種視頻染色方法，其特征在于，所述灰度傳播通過輸入參考幀的灰度及預測光流信息，輸出目標幀的傳播灰度信息，包括：

初次迭代時使用所述第一光流信息作為預測光流；

將第i-1次預測光流信息記為Δ^(i-1)(z)＝(u^(i-1)(z),v^(i-1)(z))，參考幀灰度信息記為I₁(z)，則第i次灰度傳播通過以下函數實現：

其中而且

所述光流更新，包括：

衡量目標幀的傳播灰度信息與真實灰度信息I₂(z)間的差距；

通過反向傳播更新第i-1次預測光流信息記為Δ^(i-1)(z)，得到第i次預測光流信息記為Δ⁽ⁱ⁾(z)；

其中，所述差距計算為記為D關于Δ^(i-1)(z)的梯度，λ為更新步長，反向傳播更新通過

迭代收斂或者最后一次光流更新后得到的光流信息為第二光流信息Δ^*(z)。