[發明專利]基于稀疏度和保真度約束的視頻穩像方法

有效

• 申請號: 201310046191.0
• 申請日: 2013-02-05
• 公開（公告）號: CN103139568A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 宋利;瞿輝
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

技術領域

本發明涉及的是一種可廣泛用于手機、數碼相機、攝像機等消費類電子產品，同時也可用于無人機、艦船等所裝備的攝像和監控系統中的視頻穩像方法，具體是一種基于稀疏度和保真度約束的視頻穩像方法。

背景技術

視頻穩像是指利用相關設備或算法，使得視頻設備采集的原始視頻序列較為穩定或者對原始序列進行穩定處理，去除其中的抖動。視頻穩像的目的，一方面是為了改善用戶的觀感舒適度，另一個方面是作為其他視頻處理任務的預處理步驟，如目標跟蹤、目標檢測和視頻壓縮等，可以提高這些處理任務的精度與魯棒性。無論從哪個方面來看，視頻穩像都有重要意義。

現有的大多數視頻穩像方法分為三個步驟：全局運動估計、運動補償和穩定運動圖像生成。每個步驟有不同的實現方法。全局運動估計的方法主要有光流法、特征點對應法和塊匹配法等。光流法不需要預先獲取圖像背景、不受復雜環境的影響，但計算時可靠性評價因子選擇困難、對光流計算誤差敏感；特征點對應法能夠通過迭代法估計出較大的運動，但運動參數的估計精度在很大程度上依賴于特征點提取和匹配的精度；塊匹配法簡單快速、易于用硬件實現，但圖像匹配的魯棒性不是很好。運動補償分為參數濾波法和軌跡平滑法。參數濾波法是指把運動模型的參數看成主觀運動與加性抖動的疊加，用濾波的方法去除或抑制加性噪聲，比較常見的低通濾波有Kalman濾波。軌跡平滑則是將攝像機的運動軌跡看成帶噪聲的運動軌跡，采用相應的平滑方法來去除高頻噪聲。圖像生成則涉及到圖形學相關知識，如融合、拼接、圖像修補等，最簡單的處理方式是直接對原幀進行變換，得到輸出幀。

在目前眾多視頻穩像算法中，效果較好的是Grundmann?M.,Kwatra?Vand?Essa?I等人2011年在IEEE?Conference?on?Computer?Vision?and?PatternRecognition(電子與電氣工程師協會計算機視覺與模式識別會議)發表的“Auto-directedvideo?stabilization?with?robust?l1?optimal?camera?paths”(基于L1范數最優路徑的視頻穩像)一文中提出的方法，該方法通過基于電影攝影原理的L1范數約束來優化攝像機的運動軌跡，把最優攝像機路徑分為三個組成部分：代表靜態攝像機的路徑，代表勻速運動攝像機的路徑已經在這兩者間平滑過渡的路徑，從而到達消除抖動的目的。然而，該方法會丟失原始視頻幀的不少信息，尤其是邊緣信息，失真度較大；并且隨著視頻長度的增加，處理效率也會下降。K.Y.Lee,Y.Y.Chuang,B.Y.Chen?and?M.Ouhyoung等人2009年在Proc.IEEE?Int.Conf.Computer?Vision(電子與電氣工程師協會計算機視覺會議)發表的“Video?stabilization?using?robust?feature?trajectories”(基于穩健特征軌跡的視頻穩像)一文中提出用L2范數優化的方法平滑特征軌跡，以恢復真實的主觀運動，從而得到穩定的視頻。該方法在穩像的同時考慮了失真度的控制，但經驗參數過多，不適于實際應用。

發明內容

本發明針對現有技術存在的上述不足，提供一種基于稀疏度和保真度約束的視頻穩像方法，它在減小視頻抖動的同時，能夠根據用戶需要減小視頻內容失真的程度，并對長視頻的穩像有較好的效果。

為實現上述目的，本發明提供的一種基于稀疏度和保真度約束的視頻穩像方法，包括如下步驟：

第一步，把視頻幀分段，段與段之間有重合的幀；

第二步，選取當前段相鄰幀之間的特征點對；

第三步，對第二步得到的特征點對進行全局局外點去除；

第四步，用第三步得到的特征點對擬合二維線性運動模型；

第五步，用第四步得到的線性運動模型估計原始攝像機路徑；

第六步，確定平滑路徑的目標函數和限制原始攝像機路徑變化的約束條件；

第七步，對第六步得到的最優化問題求解，得到截取窗口變換矩陣；

第八步，用第四步得到的線性運動模型和第七步得到的變換矩陣去除視頻中的非線性效應，得到新的變換矩陣；

第九步，用第八步得到的截取窗口變換矩陣對原始幀進行變換。

所述第二步特征點對的獲取中，每隔10幀重新選點進行跟蹤，并且特征點的間距要大于最小間距。

所述第六步平滑路徑的目標函數由兩部分組成，一是代表路徑平滑度的L1范數項，一是代表視頻內容保真度的L2范數項，兩者由一個調節參數來控制穩像的程度和保真度的大小。