[發明專利]一種視頻在線穩定方法及系統

在審

• 申請號: 201811599338.8
• 申請日: 2018-12-26
• 公開（公告）號: CN111371983A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 胡事民;汪淼;楊國燁;林錦坤
• 申請（專利權）人: 清華大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/262;H04N5/268;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發明實施例提供一種視頻在線穩定方法及系統，該方法包括：獲取待測視頻和訓練后的卷積神經網絡；將所述待測視頻中位于當前幀圖像及之前的若干幀圖像輸入到訓練后的卷積神經網絡中，獲取變形參數；通過所述變形參數對所述當前幀圖像的下一幀圖像進行轉換，獲取穩定后的下一幀圖像，并將穩定后的下一幀圖像重新作為所述當前幀圖像；直到處理完所述待測視頻的所有幀，獲取穩定后的待測視頻。本發明實施例提供的一種視頻在線穩定方法及系統，通過深度卷積神經網絡解決了視頻穩定化的問題，并且，本發明實施例的可并行度高，在GPU上的運行速度比傳統離線方法快十倍，擴展了視頻穩定化的應用場景。

技術領域

本發明實施例涉及圖像處理技術領域，尤其涉及一種視頻在線穩定方法及系統。

背景技術

隨著移動設備與社交網絡的快速發展，使用手機等移動設備拍攝成為了常見的網絡媒體形式之一。由于高頻抖動，視頻穩定技術對于大多數手持拍攝視頻至關重要。先前已經提出了幾種基于2D、2.5D和3D的穩定技術，但據我們所知，迄今為止還沒有提出基于深度卷積神經網絡的解決方案。這種遺漏的主要原因是訓練數據的不足以及使用神經網絡對問題建模的挑戰。

在視頻穩定化領域，Grundmann等人在2011年提出用基于L₁路徑優化的方法對手持拍攝的視頻進行穩定化，Liu等人在2013年提出將視頻圖像域劃分成規則網格，通過對每個網格內的視頻內容進行平滑，從而對視頻整體內容進行穩定化。總體來講，視頻穩定化技術可以分為基于三維的場景重建的方法與基于二維特征點跟蹤的方法將相機路徑進行表達并平滑。

近年來，在深度卷積神經網絡在計算機視覺任務方面的應用，可以預測光流，相機運動或語義。也有很多直接產生視頻的應用，如場景動態生成，幀插值和去模糊，但是預測長視頻序列仍然是一個具有挑戰性的問題，所以上述所有工作僅使用兩個或幾個連續幀作為訓練樣本。

因此，亟需一種在深度卷積神經網絡領域解決視頻穩定化問題的方法。

發明內容

針對上述問題，本發明實施例提供一種視頻在線穩定方法及系統。

第一方面，本發明實施例提供一種視頻在線穩定方法，包括：

S1，獲取待測視頻和訓練后的卷積神經網絡，訓練后的卷積神經網絡通過訓練視頻集對初始卷積神經網絡進行訓練得到；

S2，將所述待測視頻中的當前圖像、和位于所述當前幀圖像之前的若干幀圖像輸入到訓練后的卷積神經網絡中，獲取變形參數，所述當前圖像和位于所述當前幀圖像之前的圖像是穩定的，所述變形參數表示將不穩定圖像轉換為穩定圖像的網格參數；

S3，通過所述變形參數對所述當前幀圖像的下一幀圖像進行轉換，獲取穩定后的下一幀圖像，并將穩定后的下一幀圖像重新作為所述當前幀圖像；

S4，重復步驟S2至S3，直到處理完所述待測視頻的所有幀，獲取穩定后的待測視頻。

第二方面，本發明實施例提供一種視頻在線穩定系統，包括：

獲取模塊，用于獲取待測視頻和訓練后的卷積神經網絡，訓練后的卷積神經網絡通過訓練視頻集對初始卷積神經網絡進行訓練得到；

變形模塊，用于將所述待測視頻中的當前圖像、和位于所述當前幀圖像之前的若干幀圖像輸入到訓練后的卷積神經網絡中，獲取變形參數，所述當前圖像和位于所述當前幀圖像之前的圖像是穩定的，所述變形參數表示將不穩定圖像轉換為穩定圖像的網格參數；

轉換模塊，用于通過所述變形參數對所述當前幀圖像的下一幀圖像進行轉換，獲取穩定后的下一幀圖像，并將穩定后的下一幀圖像重新作為所述當前幀圖像；

處理模塊，用于重復上述步驟，直到處理完所述待測視頻的所有幀，獲取穩定后的待測視頻。

第三方面，本發明實施例提供一種電子設備，包括：