[發明專利]一種基于圖像變形的不規則視頻矩形化矯正方法

在審

• 申請號: 201510180896.0
• 申請日: 2015-04-16
• 公開（公告）號: CN104822030A
• 公開（公告）日: 2015-08-05
• 發明（設計）人: 黃華;劉彩虹
• 申請（專利權）人: 北京理工大學深圳研究院;北京理工大學
• 主分類號: H04N5/262
• 分類號: H04N5/262
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種視頻矯正方法，特別涉及一種基于圖像變形的視頻矩形化矯正方法，屬于視頻處理領域。

背景技術

隨著互聯網技術的發展和數碼攝像設備的大范圍使用，視頻數據的采集非常容易，廣泛存在于生活中的各個方面。隨著圖像和視頻拼接技術的發展，人們越來越不滿足于普通攝像機得到的有限視角的視頻，期望獲得更寬視角的視頻以獲得更好的視覺效果。然后由于采集的視頻數據的視角差異或者普通數碼攝像機的隨意移動，都會造成拼接后視頻的邊界不規則。

本方法所用已有技術包括seam?carving的圖像縮放技術(Avidan,S.,Shamir,A.2007.Seam?carving?for?content-aware?image?resizing.In?SIGGRAPH?2007.)在本方法中利用seam?carving技術填充的所有不規則視頻幀得到初步的矩形視頻幀，進行網格的設置，再進行后續操作。

再者是已有的不規則全景圖像矯正技術(He,K.,Chang,H.,Sun,J.2013.Rectangling?Panoramic?Images?via?Warping.In?SIGGRAPH?2013),本方法是對該方法的一個擴展，增加了時域上的連續性約束，得到視覺上合理的矩形規則視頻。

發明內容

本發明的目的是針對拼接后不規則的視頻數據，提出的一種視頻矯正方法，使用戶獲得較舒適的觀看感受。

本發明技術方案的思想是首先對所有視頻幀進行局部變形；在變形后矩形視頻幀上設置網格，再依據坐標映射關系，將網格放置在原不規則視頻幀上，對所有幀網格對應坐標取均值，即初始網格；對初始網格做時域空域約束建立稀疏線性方程組，并求解得到校正后的視頻各幀網格點；根據每一視頻幀矯正前后網格進行雙線性插值得到矯正后的視頻幀。該方法在已有圖像矯正方法的基礎上，增加時域約束條件，實現了視頻的矩形化矯正。

本發明的目的是通過下述技術方案實現的。

一種基于圖像變形的不規則視頻矩形化矯正方法，包括以下步驟：

步驟一、對視頻每一幀進行局部變形

對于視頻中不規則邊界的每一幀，利用seam?carving算法，通過不斷插入長短不一的seam的方式，填充缺失像素，得到規則矩形邊界的視頻幀，插入的同時記錄插入后每個像素點所在原圖的位置坐標；

步驟二、設置網格，并將網格變形回原圖

對步驟一中得到的每一規則視頻幀，將其均勻劃分為若干矩形區域，并獲得網格角點的坐標，然后利用步驟一中記錄的位置信息，獲得每個網格角點所在原圖的位置坐標，即可將每幀網格變形回原圖；

步驟三、網格歸一化

對得到的所有覆蓋視頻幀不規則有效區域的網格，對應位置坐標取均值，得到歸一化網格,即是每幀初始網格；

步驟四、計算能量函數中的保形項E_s

為了獲得與原視頻幀盡可能相近的圖像，盡可能減少其形狀失真，因此在原視頻幀網格和矯正后的視頻幀對應網格之間應保持一個相似變換，保形能量函數定義為：