[發明專利]一種視頻優化方法、裝置、終端設備及存儲介質

有效

• 申請號: 202110557336.8
• 申請日: 2021-05-21
• 公開（公告）號: CN113298728B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 劉翼豪;趙恒遠;董超;喬宇
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06N3/04
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 張全文

1.一種視頻優化方法，其特征在于，所述方法包括：

利用已訓練的特征提取網絡分別提取待優化的視頻幀序列中的M幀錨點幀的中間特征，所述視頻幀序列包括N幀視頻幀，M幀所述錨點幀包括所述視頻幀序列的第1幀視頻幀和第N幀視頻幀，M為大于2且小于N的正整數；

利用已訓練的光流網絡分別確定N-M幀中間幀的正向光流參數和反向光流參數，所述中間幀的正向光流參數用于描述所述中間幀的前一幀向所述中間幀變換的變換關系，所述中間幀的反向光流參數用于描述所述中間幀的后一幀向所述中間幀變換的變換關系，所述中間幀為所述待優化視頻中除所述錨點幀以外的視頻幀；

根據N-M幀所述中間幀的正向光流參數和反向光流參數，以及M幀所述錨點幀的中間特征，確定N-M幀所述中間幀的中間特征；

利用已訓練的特征估計網絡分別對所述視頻幀序列的每一幀視頻幀的中間特征進行特征估計，得到N幀優化圖像，所述N幀優化圖像構成所述視頻幀序列的優化視頻。

2.根據權利要求1所述的方法，其特征在于，所述根據N-M幀所述中間幀的正向光流參數和反向光流參數，以及M幀所述錨點幀的中間特征，確定N-M幀所述中間幀的中間特征，包括：

針對所述視頻幀序列中的第i幀視頻幀，i取值為{1，2，……，N-1，N}，當所述第i幀視頻幀為所述中間幀時：

利用所述第i幀視頻幀的正向光流參數對第i-1幀視頻幀的中間特征進行形狀變換，得到所述第i幀視頻幀的正向特征；

利用所述第i幀視頻幀的反向光流參數對第i+1幀視頻幀的反向特征進行形狀變換，得到所述第i幀視頻幀的反向特征；

對所述第i幀視頻幀的正向特征和所述第i幀視頻幀的反向特征進行特征融合，得到所述第i幀視頻幀的中間特征；

其中，若所述第i+1幀視頻幀為所述錨點幀，所述第i+1幀視頻幀的反向特征取值為所述第i+1幀視頻幀的中間特征。

3.根據權利要求2所述的方法，其特征在于，所述對所述第i幀視頻幀的正向特征和所述第i幀視頻幀的反向特征進行特征融合，得到所述第i幀視頻幀的中間特征，包括：

將第i-1幀視頻幀、所述第i幀視頻幀、所述第i+1幀視頻幀、所述第i幀視頻幀的正向特征、所述第i幀視頻幀的反向特征、所述第i-1幀視頻幀的正向特征和所述第i+1幀視頻幀的反向特征輸入到已訓練的FFM模型中進行融合處理，得到所述第i幀視頻幀的中間特征，其中，若所述第i-1幀視頻幀為所述錨點幀，所述第i-1幀視頻幀的正向特征取值為所述第i-1幀視頻幀的中間特征。

4.根據權利要求3所述的方法，其特征在于，所述融合處理包括：

獲取所述第i-1幀視頻幀、所述第i幀視頻幀和所述第i+1幀視頻幀的融合特征；

對所述融合特征、所述第i幀視頻幀的正向特征和所述第i幀視頻幀的反向特征進行權重估計，得到權重矩陣；

利用所述權重矩陣對所述第i幀視頻幀的正向特征和所述第i幀視頻幀的反向特征進行加權，得到加權特征；

對所述加權特征、所述融合特征、所述第i-1幀視頻幀的正向特征和所述第i+1幀視頻幀的反向特征進行卷積計算，得到補充特征；

將所述補充特征和所述加權特征進行疊加，得到所述第i幀視頻幀的中間特征。

5.根據權利要求3所述的方法，其特征在于，所述方法還包括：

構建視頻優化初始模型，所述視頻優化初始模型包括特征提取初始網絡、光流初始網絡、特征估計初始網絡和FFM初始模型；

利用預設的損失函數和訓練集對所述視頻優化初始模型進行無監督訓練，得到已訓練的所述特征提取網絡、所述光流網絡、所述特征估計網絡和所述FFM模型；

其中，訓練集包括多個待優化的視頻幀序列樣本。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述特征提取網絡和所述特征估計網絡由預設的圖像優化模型拆分得到，所述圖像優化模型用于對二維圖像進行圖像優化。