[發明專利]基于線性規劃的視頻圖像自動扭正和穩像的方法

有效

• 申請號: 202011486626.X
• 申請日: 2020-12-16
• 公開（公告）號: CN112750088B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 英向華;佟新;石永杰;趙赫;王睿彬
• 申請（專利權）人: 北京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/40
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

本發明公布了一種基于線性規劃的視頻圖像自動扭正和穩像的方法，首先將原視頻逐幀分離得到圖片集，再將估計得到的原視頻相鄰兩幀之間的仿射變換矩陣作為運動信息，并提取每一幀內的直線段，估計豎直方向的滅點位置和水平線位置；然后構建線性規劃模型，將用于矯正每一幀的變換矩陣為線性規劃模型的待優化參數，通過求解模型獲得與視頻幀數等數量的射影變換矩陣；之后對原視頻逐幀變換，并將變換后的幀合成得到新視頻。采用本發明優化得到的一系列射影變換矩陣可以同時完成扭正和穩像，處理后的視頻有更好的視覺效果，處理速度快，得到的結果具有全局最優性。

技術領域

本發明涉及視頻穩像和視頻扭正技術，尤其涉及一種基于線性規劃的視頻圖像自動扭正和穩像的方法，是一種應用每幀圖像的幾何信息和相鄰幀之間的運動信息的基于線性規劃的自動視頻扭正和穩像的方法，可以快速自動地同時進行針對視頻的穩像和扭正。

背景技術

由于攝像機的晃動，拍攝的視頻中經常會出現不合適的抖動。而且建筑物等豎直結構由于拍攝視角等原因經常會在視頻中出現傾斜，這些都使得視頻的視覺舒適度降低。現有的視頻穩像的方法一般通過運動恢復結構(Structure from Motion,SfM)恢復攝像機原始的3D路徑，或者根據特征點的位置變化或相鄰幀之間的變換矩陣來描述2D路徑，并且平滑這一路徑來生成原始視頻的穩定版本。然而這些方法并沒有考慮到如何將視頻中傾斜的豎直結構扭正，而這種扭正通常能夠顯著提高視頻視覺效果。

視頻圖像中經常可以獲取滅點和水平線等幾何信息。一些針對單幅圖像的扭正方法使用這些幾何信息進行圖像扭正，然而這類方法通常只能建模成非凸優化，求解時間長且不能保證全局最優性。還有一些方法針對視頻的扭正技術使用了豎直方向滅點信息，然而這類方法沒有考慮視頻相鄰幀之間的連貫性和視頻的抖動，處理后的視頻視覺效果不佳。

發明內容

為了克服上述現有技術的不足，本發明提供一種基于線性規劃的視頻圖像自動扭正和穩像的方法，應用每幀圖像的幾何信息和相鄰幀之間的運動信息，基于線性規劃對視頻圖像進行快速自動視頻圖像扭正和穩像，對于一段輸入的視頻，為每一幀估計一個射影變換矩陣并對視頻逐幀進行攝影變換，能夠同時完成視頻的扭正和穩像，使得處理后的視頻圖像有更好的視覺效果。

為了實現這一目的，首先將視頻逐幀分離得到圖片集，估計原始視頻相鄰兩幀之間的仿射變換矩陣作為運動信息，并提取每一幀內的直線段，估計豎直方向的滅點位置和水平線位置。根據以上信息，構建以用來矯正每一幀的變換矩陣為待優化參數的線性規劃模型。然后求解模型，獲得與視頻幀數等數量的射影變換矩陣。最后對原視頻逐幀變換，并將變換后的幀合成新視頻。

本發明的技術方案如下：

一種基于線性規劃的視頻圖像自動扭正和穩像的方法，包括如下步驟：

1)數據預處理，包括：進行視頻幀分離，從圖像中提取線段，估計視頻圖像豎直方向滅點位置和水平線信息，并估計連續兩幀圖像之間的仿射變換矩陣

將視頻逐幀分離成圖片集合，可采用Matlab中的VideoReader類進行視頻幀分離，對于分離的每一幀，使用LSD(Line Segment Detector，線段檢測器)方法從視頻圖像中提取線段。根據曼哈頓假設，使用隨機抽樣一致算法(random sample consensus，RANSAC)估計視頻圖像豎直方向滅點位置和水平線信息，并估計原始視頻連續兩幀圖像之間的仿射變換矩陣；

2)構建線性規劃模型的目標函數和約束條件。

以步驟1)中得到的所有幀為原始輸入幀，對于輸入的所有幀，以輸出幀到輸入幀之間的射影變換矩陣為待優化參數。模型的目標函數為關于扭正的優化項和關于穩像的優化項之和。關于扭正的優化項包括變換前后豎直無窮遠點和豎直滅點的距離、水平線的斜率以及圖像內視覺上是水平或豎直方向的直線段的斜率。關于穩像的優化項為從同一原始幀到處理后相鄰兩幀的射影變換矩陣的殘差。本發明中所有優化項采用L1范數形式，保證目標函數為線性。