[發明專利]一種視頻優化方法、裝置、終端設備及存儲介質

有效

• 申請號: 202110557336.8
• 申請日: 2021-05-21
• 公開（公告）號: CN113298728B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 劉翼豪;趙恒遠;董超;喬宇
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06N3/04
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 張全文

本申請提供一種視頻優化方法、裝置、終端設備及存儲介質，涉及深度學習技術領域，能夠提高優化視頻的連續性。該視頻優化方法包括：利用已訓練的特征提取網絡分別提取待優化的視頻幀序列中的M幀錨點幀的中間特征，視頻幀序列包括N幀視頻幀，M幀錨點幀包括視頻幀序列的第1幀視頻幀和第N幀視頻幀；利用已訓練的光流網絡分別確定N?M幀中間幀的正向光流參數和反向光流參數；根據N?M幀中間幀的正向光流參數和反向光流參數，以及M幀錨點幀的中間特征，確定N?M幀中間幀的中間特征；利用已訓練的特征估計網絡分別對視頻幀序列的N幀視頻幀的中間特征進行特征估計，得到N幀優化圖像，N幀優化圖像構成視頻幀序列的優化視頻。

技術領域

本申請涉及深度學習技術領域，尤其涉及一種視頻優化方法、裝置、終端設備及存儲介質。

背景技術

視頻優化一般包括視頻去噪、視頻去雨、視頻超分、視頻調色、黑白視頻上色等優化操作。目前，在基于深度學習的視頻優化方案中，常常采用圖像優化模型(例如圖像去噪模型、圖像去雨模型、超分模型、圖像調色模型、黑白圖像上色模型等)提取視頻中的每一幀視頻幀的中間特征，并對每一幀視頻幀的中間特征進行特征估計，得到每一幀視頻幀對應的優化圖像，從而實現視頻的優化。

然而，這種基于圖像優化模型，對視頻中每一幀視頻幀進行獨立優化的方式，可能會導致不同視頻幀具備不同的優化效果，影響優化后視頻的連續性。

發明內容

有鑒于此，本申請提供一種視頻優化方法、裝置、終端設備及存儲介質，提高優化視頻的連續性。

第一方面，本申請提供一種視頻優化方法，包括：

利用已訓練的特征提取網絡分別提取待優化的視頻幀序列中的M幀錨點幀的中間特征，視頻幀序列包括N幀視頻幀，M幀錨點幀包括視頻幀序列的第1幀視頻幀和第N幀視頻幀，M為大于2且小于N的正整數；利用已訓練的光流網絡分別確定N-M幀中間幀的正向光流參數和反向光流參數，中間幀的正向光流參數用于描述中間幀的前一幀向該中間幀變換的變換關系，中間幀的反向光流參數用于描述中間幀的后一幀向該中間幀變換的變換關系，中間幀為待優化視頻中除錨點幀以外的視頻幀；根據N-M幀中間幀的正向光流參數和反向光流參數，以及M幀錨點幀的中間特征，確定N-M幀中間幀的中間特征；利用已訓練的特征估計網絡分別對視頻幀序列的每一幀視頻幀的中間特征進行特征估計，得到N幀優化圖像，N幀優化圖像構成該視頻幀序列的優化視頻。

在一種可選的實現方式中，根據N-M幀中間幀的正向光流參數和反向光流參數，以及M幀錨點幀的中間特征，確定N-M幀中間幀的中間特征，包括：

針對視頻幀序列中的第i幀視頻幀，i取值為{1，2，……，N-1，N}，當第i幀視頻幀為中間幀時：利用第i幀視頻幀的正向光流參數對第i-1幀視頻幀的中間特征進行形狀變換，得到第i幀視頻幀的正向特征；利用第i幀視頻幀的反向光流參數對第i+1幀視頻幀的反向特征進行形狀變換，得到第i幀視頻幀的反向特征；對第i幀視頻幀的正向特征和第i幀視頻幀的反向特征進行特征融合，得到第i幀視頻幀的中間特征；其中，若第i+1幀視頻幀為錨點幀，第i+1幀視頻幀的反向特征取值為第i+1幀視頻幀的中間特征。

在一種可選的實現方式中，對第i幀視頻幀的正向特征和第i幀視頻幀的反向特征進行特征融合，得到第i幀視頻幀的中間特征，包括：

將第i-1幀視頻幀、第i幀視頻幀、第i+1幀視頻幀、第i幀視頻幀的正向特征、第i幀視頻幀的反向特征、第i-1幀視頻幀的正向特征和第i+1幀視頻幀的反向特征輸入到已訓練的FFM模型中進行融合處理，得到第i幀視頻幀的中間特征，其中，若第i-1幀視頻幀為錨點幀，第i-1幀視頻幀的正向特征取值為第i-1幀視頻幀的中間特征。

在一種可選的實現方式中，融合處理包括：