[發明專利]接收的視頻穩定化

有效

• 申請號: 201210388814.8
• 申請日: 2012-10-15
• 公開（公告）號: CN103139446A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: P.卡爾松;A.杰弗里莫夫;S.薩布林;D.趙
• 申請（專利權）人: 斯凱普公司
• 主分類號: H04N5/14
• 分類號: H04N5/14;H04N7/26;H04N5/232
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李靜嵐;汪揚

技術領域

本發明涉及視頻信號的穩定化。具體而言，本發明涉及利用攝影機捕獲視頻信號幀并且補償攝影機的運動，從而穩定視頻信號。?

背景技術

攝影機可以被用來捕獲一系列圖像，以便用作視頻信號幀。攝影機可以固定在穩定的物體上，例如攝影機可以安裝在諸如三腳架之類的架子上，從而在捕獲視頻幀的同時保持攝影機靜止。然而，通常攝影機被實現在移動設備中并且不必需安裝到固定的物體上，例如攝影機可以被握著，或者可以在諸如車輛的移動物體上。在攝影機正在捕獲視頻信號幀的同時的攝影機的移動可能導致視頻信號本身中的不期望的移動。?

圖像穩定化是一種能夠被用來補償視頻信號中的不期望的移動的方法。某些系統施行運動估計以便生成運動矢量以供圖像穩定化處理使用。Junlan?Yang等人的“Online?Video?Stabilization?Based?on?Particle?Filters（基于粒子濾波器的在線視頻穩定化）”描述了一種這樣的系統。圖像穩定化算法可以包括三個主要部分：運動估計、運動平滑和運動補償。運動估計塊可以估計視頻信號內的局部運動矢量，并且基于這些局部估計計算全局運動矢量。運動平滑塊然后可以處理對估計的全局運動矢量的濾波，以便平滑所計算的值并且防止在先前計算的運動矢量之間的大的且不希望的差別。利用穩定化，圖像在運動補償塊中移動，從而使得它們的運動等于經過濾波的運動。運動補償塊可以考慮復雜的變換，例如旋轉、扭曲或縮放。?

可能需要大量的處理資源來施行如上所述的基于運動矢量的圖像穩定化。當視頻信號要被實時地穩定時，即當在正由攝影機捕獲視頻信號的同時要使用視頻信號的穩定版本（例如在視頻電話中傳送或者從設備輸出）時，這可能是個問題。?

發明內容

上面參考的公開內容討論了在編碼和傳送之前的視頻信號的穩定化。?

本發明的發明人認識到通過在通信系統的接收側實現視頻穩定化能夠獲得顯著的優點。?

根據本發明的第一個方面，提供了一種穩定視頻信號的方法，所述視頻信號由攝影機生成并且作為編碼的比特流傳送，所述方法包括：?

接收編碼的比特流；

從編碼的比特流解碼多個視頻信號幀；

從編碼的比特流確定攝影機的運動指示；

利用運動指示確定在由攝影機捕獲的連續幀之間的攝影機的位移；

利用確定的位移補償由攝影機的運動造成的在連續幀之間的解碼的視頻信號中的運動，從而穩定解碼的視頻信號。

本發明的第二個方面提供了一種用于穩定視頻信號的設備，所述設備包括：?

接口，其被配置成接收編碼的比特流；

解碼器，其被配置成從比特流解碼多個視頻信號幀；

位移確定塊，其被配置成利用在比特流中接收到的運動指示確定在由攝影機捕獲的連續幀之間的攝影機的位移；以及

運動補償塊，其被配置成利用確定的位移補償由攝影機的運動造成的在連續幀之間的解碼的視頻信號中的運動，從而穩定解碼的視頻信號。

可以基于運動矢量解碼運動指示。本發明的這些實施例利用了這樣的事實，即運送視頻信號的編碼比特流包含允許在接收側生成幀的運動矢量。為了效率的緣故，這些運動矢量被用于編碼視頻信號，以便避免需要對視頻信號的每一幀進行編碼。正如本領域所知道的，利用參考幀和運動矢量編碼視頻信號，從而允許從參考幀和運動矢量生成中間幀。?

通過在接收側穩定視頻信號，利用運動矢量復雜性基本上能夠被消除。解碼器穩定化幾乎不具有計算復雜性，這是因為當重新使用已經存在在比特流中的運動矢量時大多數花費高的步驟（運動估計）被移除了。在捕獲視頻信號的攝影機預期是小的移動設備而視頻信號被傳送到具有更大處理能力的用戶終端（例如以上網本、膝上型計算機或個人計算的形式）的情況下，這是非常有利的。?

通常地，幀被劃分成塊，宏塊代表多個塊。運動矢量相對于宏塊在參考幀中的位置限定其在中間幀中的位置。?

另一個顯著的優點在于本發明的實施例以現有的編碼視頻信號進行操作。由于本發明的實施例能夠使用常規地被用于編碼視頻信號的運動矢量，因此發送側不需要知道接收側上實施的穩定化。因此，本發明的實施例能夠以攝影機軟件的現有版本和其他視頻信號生成客戶進行操作。?

所述方法還可以包括：利用與攝影機相關聯的運動傳感器生成代表攝影機的運動的多個樣本；以及利用樣本確定在視頻信號的第一幀和視頻信號的第二幀之間的攝影機的位移，其中所確定的位移被用于確定所述像素位移。?