[發明專利]一種視頻在線穩定方法及系統在審

申請號：	201811599338.8	申請日：	2018-12-26
公開（公告）號：	CN111371983A	公開（公告）日：	2020-07-03
發明（設計）人：	胡事民;汪淼;楊國燁;林錦坤	申請（專利權）人：	清華大學
主分類號：	H04N5/232	分類號：	H04N5/232;H04N5/262;H04N5/268;G06N3/04;G06N3/08
代理公司：	北京路浩知識產權代理有限公司 11002	代理人：	王瑩;吳歡燕
地址：	100084 北京市海***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種視頻在線穩定方法系統
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【權利要求書】：

1.一種視頻在線穩定方法，其特征在于，包括：

S1，獲取待測視頻和訓練后的卷積神經網絡，訓練后的卷積神經網絡通過訓練視頻集對初始卷積神經網絡進行訓練得到；

S2，將所述待測視頻中的當前圖像、和位于所述當前幀圖像之前的若干幀圖像輸入到訓練后的卷積神經網絡中，獲取變形參數，所述當前圖像和位于所述當前幀圖像之前的圖像是穩定的，所述變形參數表示將不穩定圖像轉換為穩定圖像的網格參數；

S3，通過所述變形參數對所述當前幀圖像的下一幀圖像進行轉換，獲取穩定后的下一幀圖像，并將穩定后的下一幀圖像重新作為所述當前幀圖像；

S4，重復步驟S2至S3，直到處理完所述待測視頻的所有幀，獲取穩定后的待測視頻。

2.根據權利要求1所述方法，其特征在于，所述訓練視頻集中包括若干對訓練視頻，對于任一對訓練視頻，所述任一對訓練視頻中兩個訓練視頻的拍攝路徑和拍攝時間相同，所述任一對訓練視頻中的其中一個視頻是通過位于穩定云臺上的相機拍攝得到的，所述任一訓練視頻中的另外一個視頻與使用者的手或身體的運動一致。

3.根據權利要求1所述方法，其特征在于，所述初始卷積神經網絡為StabNet，StabNet由一個編碼器和一個網格格點回歸器組成，所述編碼器由ResNet-50實現，所述網格格點回歸器由若干個全連接層組成。

4.根據權利要求1所述方法，其特征在于，所述通過所述變形參數對所述當前幀圖像的下一幀圖像進行轉換，獲取穩定后的下一幀圖像穩定后的下一幀圖像，具體為：

其中，表示穩定后的下一幀圖像，I_t表示所述當前幀圖像的下一幀圖像，F_t表示所述變形參數。

5.根據權利要求4所述方法，其特征在于，所述對初始卷積神經網絡進行訓練過程中約束條件中的視頻穩定項為：

L_stab(F_t,I_t)＝α₁L_pixel(F_t,I_t)+α₂L_feature(F_t,I_t)，

α₁＝50，α₂＝1，

其中，P_t為m個I_t和I′_t中對應的特征點對集合，L_stab(F_t,I_t)表示生成結果的穩定性損失，L_pixel(F_t,I_t)表示生成結果與訓練數據中穩定視頻的第t幀，即穩定監督圖像的逐像素差別損失，L_feature(F_t,I_t)表示生成結果與所述穩定監督圖像通過的對應特征點距離損失，I′_t表示所述穩定監督圖像，m表示求得的特征點數，表示所述穩定監督圖像的第i個特征點，表示生成結果圖像的第i個特征點。