[發明專利]基于線性規劃的視頻圖像自動扭正和穩像的方法

有效

• 申請號: 202011486626.X
• 申請日: 2020-12-16
• 公開（公告）號: CN112750088B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 英向華;佟新;石永杰;趙赫;王睿彬
• 申請（專利權）人: 北京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/40
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種基于線性規劃的視頻圖像自動扭正和穩像的方法，首先將原視頻逐幀分離得到圖片集，再將估計得到的原視頻相鄰兩幀之間的仿射變換矩陣作為運動信息，并提取每一幀內的直線段，估計豎直方向的滅點位置和水平線位置；然后構建線性規劃模型，將用于矯正每一幀的變換矩陣為線性規劃模型的待優化參數，通過求解模型獲得與視頻幀數等數量的射影變換矩陣；之后對原視頻逐幀變換，并將變換后的幀合成得到新視頻；包括如下步驟：

1)數據預處理，包括：進行視頻幀分離，從視頻圖像中提取線段，估計視頻圖像豎直方向滅點位置和水平線信息，并估計原視頻相鄰兩幀圖像之間的仿射變換矩陣；

2)構建線性規劃模型的目標函數和約束條件；

以步驟1)進行視頻幀分離得到的所有幀為原始輸入幀，對于輸入的所有幀，以輸出幀到輸入幀之間的射影變換矩陣為待優化參數；

線性規劃模型的目標函數為關于扭正的優化項和關于穩像的優化項E^st之和；優化項均采用L1范數形式，以保證目標函數為線性；

關于扭正的優化項包括：和豎直方向滅點相關的優化項和水平線相關的優化項和圖像上直線段相關的優化項其中：

和豎直方向滅點相關的優化項具體表示為：

其中，[x_p,y_p,1]^T為原視頻第t幀中豎直方向滅點的齊次坐標；

和水平線相關的優化項具體表示為：

其中，[n₁,n₂,n₃]^T為原視頻第t幀中水平線的齊次坐標；

和圖像上直線段相關的優化項具體表示為：

其中，[l₁,l₂,l₃]^T為原視頻第t幀中一個視覺上是水平或豎直方向的直線段的齊次坐標；對于水平方向的直線段，令e＝1；對于豎直方向的直線段，令e＝0；對于多條直線段，應用非極大值抑制NMS方法減少直線段個數，以保證運行效率；b₁₁,…,b₃₂為第t幀的射影變換矩陣B_t中待優化的8個未知參數；

線性規劃模型的目標函數表示為：

其中，ω₄，ω₅，ω₆為權重；

線性規劃模型的約束條件包括：使裁剪框保持在原始圖像的可見范圍內和使每一個射影變換矩陣和單位矩陣的差別在設定范圍內；

3)通過模型求解，對求解的結果求逆變換，即得到每一個原始幀對應的射影變換矩陣；

4)生成新視頻：根據射影變換矩陣對原始幀進行變換和裁剪，再將處理后的視頻幀合成得到新的視頻。

2.如權利要求1所述基于線性規劃的視頻圖像自動扭正和穩像的方法，其特征是，步驟4)通過采用視頻合成工具完成視頻合成；視頻合成工具具體采用Matlab中VideoWriter類。

3.如權利要求1所述基于線性規劃的視頻圖像自動扭正和穩像的方法，其特征是，步驟1)數據預處理中將視頻逐幀分離成圖片集合，具體采用Matlab中的VideoReader類進行視頻幀分離；對于分離得到的每一幀，使用線段檢測器LSD方法從視頻圖像中提取線段。

4.如權利要求3所述基于線性規劃的視頻圖像自動扭正和穩像的方法，其特征是，具體采用隨機抽樣一致算法RANSAC估計視頻圖像豎直方向滅點位置和水平線信息，并估計原視頻相鄰兩幀圖像之間的仿射變換矩陣。

5.如權利要求1所述基于線性規劃的視頻圖像自動扭正和穩像的方法，其特征是，步驟2)中，所述關于扭正的優化項包括變換前后豎直無窮遠點和豎直滅點的距離、水平線的斜率以及圖像內視覺上是水平或豎直方向的直線段的斜率；所述關于穩像的優化項為從同一原始幀到處理后相鄰兩幀的射影變換矩陣的殘差。