[發明專利]一種視頻風格轉置方法和系統

有效

• 申請號: 202110335087.8
• 申請日: 2021-03-29
• 公開（公告）號: CN113095999B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 馬哲;劉劍
• 申請（專利權）人: 北京雷石天地電子技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/0464;G06N3/08;H04N21/44;H04N21/472
• 代理公司: 北京城烽知識產權代理事務所(特殊普通合伙) 11829
• 代理人: 王新月

本發明公開一種視頻風格轉置方法和系統。其中，該方法包括通過提取當前幀圖像的第一內容特征和所述當前預生成圖片的第二內容特征并計算出當前內容損失；以及通過提取當前風格圖片的第一風格特征和所述當前預生成圖片的第二風格特征并計算出當前風格損失；根據所述當前內容損失和所述當前風格損失，計算出所述當前預生成圖片的總損失，并將所述總損失進行梯度下降以及對所述當前預生成圖片進行更新，得到所述當前幀的生成圖片；根據原視頻的碼率和幀率將所有幀的生成圖片合成，以得到風格轉置視頻。通過本發明，解決了現有技術中改變視頻風格的樣式少，過于簡單的問題，在保留原始視頻的內容的情況下風格化了原視頻，提高了MV視頻處理的多樣性。

技術領域

本發明涉及視頻處理技術領域，具體而言，涉及一種視頻風格轉置方法和系統。

背景技術

視頻圖像處理是計算機視覺領域研究的熱點課題之一，今年來新興起的一種視頻圖像處理的技術——視頻圖像風格轉換越來越受到人們的關注。它以計算機為工具，用算法模擬出不同藝術形式的繪制風格，增強視頻圖像中可視信息的表現形式，這種將計算機技術與藝術美學有效結合的技術越來越受到用戶的喜愛。而之前改變MV視頻風格都是給視頻幀添加濾鏡美顏虛化或者簡單的合成兩張圖片的方式，其MV視頻處理過于簡單，風格樣式少。

針對現有技術中改變視頻風格的樣式少，過于簡單的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例中提供一種視頻風格轉置方法和系統，以解決現有技術中改變視頻風格的樣式少，過于簡單的問題。

為達到上述目的，一方面，本發明提供了一種視頻風格轉置方法，該方法包括：

獲取原視頻中的當前幀圖像、與所述當前幀圖像對應的當前預生成圖片、與所述當前幀圖像對應的當前風格圖片；

提取所述當前幀圖像的第一內容特征和所述當前預生成圖片的第二內容特征，并根據所述第一內容特征和所述第二內容特征計算出當前內容損失；

提取所述當前風格圖片的第一風格特征和所述當前預生成圖片的第二風格特征，并根據所述第一風格特征和所述第二風格特征計算出當前風格損失；

根據所述當前內容損失和所述當前風格損失，計算出所述當前預生成圖片的總損失，并將所述總損失進行梯度下降，得到最小化損失；

根據所述最小化損失，將對所述當前預生成圖片進行更新，得到所述當前幀的生成圖片；

根據原視頻的碼率和幀率將所有幀的生成圖片合成，以得到風格轉置視頻。

可選的，所述提取所述當前幀圖像的第一內容特征和所述當前預生成圖片的第二內容特征，并根據所述第一內容特征和所述第二內容特征計算出當前內容損失包括：

將所述當前幀圖像轉換為與所述當前預生成圖片同等大小尺寸的當前第一圖片；

分別將所述當前第一圖片和所述當前預生成圖片輸入到VGG-19(預訓練的CNN神經網絡)中第一特定神經網絡層；

提取輸入到該第一特定神經網絡層中的所述當前第一圖片的內容特征，得到所述第一內容特征；以及，提取輸入到該第一特定神經網絡層中的所述當前預生成圖片的內容特征，得到所述第二內容特征；

將所述第一內容特征和所述第二內容特征通過以下方式計算所述當前內容損失：

其中，J_content(C,G₁)為當前內容損失，C為當前幀圖像的第一內容特征，G₁為當前預生成圖片的第二內容特征，a為當前特征矩陣，l₁為第一特定神經網絡層。