[發明專利]一種基于圖像變形的不規則視頻矩形化矯正方法

在審

• 申請號: 201510180896.0
• 申請日: 2015-04-16
• 公開（公告）號: CN104822030A
• 公開（公告）日: 2015-08-05
• 發明（設計）人: 黃華;劉彩虹
• 申請（專利權）人: 北京理工大學深圳研究院;北京理工大學
• 主分類號: H04N5/262
• 分類號: H04N5/262
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于圖像變形的不規則視頻矩形化矯正方法，其特征在于，包括以下步驟：

步驟一、對視頻每一幀進行局部變形

對于視頻中不規則邊界的每一幀，利用seam?carving算法，通過不斷插入長短不一的seam的方式，填充缺失像素，得到規則矩形邊界的視頻幀，插入的同時記錄插入后每個像素點所在原圖的位置坐標；

步驟二、設置網格，并將網格變形回原圖

對步驟一中得到的每一規則視頻幀，將其均勻劃分為若干矩形區域，并獲得網格角點的坐標，然后利用步驟一中記錄的位置信息，獲得每個網格角點所在原圖的位置坐標，即可將每幀網格變形回原圖；

步驟三、網格歸一化

對得到的所有覆蓋視頻幀不規則有效區域的網格，對應位置坐標取均值，得到歸一化網格,即是每幀初始網格；

步驟四、計算能量函數中的保形項E_s

為了獲得與原視頻幀盡可能相近的圖像，盡可能減少其形狀失真，因此在原視頻幀網格和矯正后的視頻幀對應網格之間應保持一個相似變換，保形能量函數定義為：

Es(Vqt)=1NtΣq||(Aqt((Aqt)TAqt)-1(Aqt)T-I)Vqt||2]]>

Aqt=x^0t-y^0t10y^0tx^0t01............x^3t-y^3t10y^3tx^3t01,Vqt=x0ty0t...x3ty3t]]>

其中上標t為視頻幀索引，下標q是每幀網格的方格索引，N是網格的方格數，A_q為8*4的矩陣，V_q為8*1的矩陣，為網格變形前一個方格四個頂點對應四對坐標，而(x₀,y₀),…,(x₃,y₃)為相應的變形后對應四對坐標；

步驟五、計算能量函數中的直線保持項E_l

首先對視頻中每幀進行預處理，過程為先對每幀進行直線檢測，并對檢測得到的所有直線依據網格對其進行分割，使得每個子線段只在一個方格中，然后對所有線段按其傾斜角分為m組，使得同組的線段傾斜角基本相同；預處理后為減少直線的失真，保持視頻矯正前后直線的平行性和共線性，使得傾斜角相似(同組)的線段矯正過程中旋轉角盡可能一致，其能量函數定義為：

El(Vt,{θmt})=1NLtΣj||Cjt(θm(j)t)eq(j)t||2]]>

C=Re^(e^Te^)-1e^TRT-I,R=cosθm-sinθmsimθmcosθm]]>

其中，R是旋轉矩陣，{θ_m^t}是m組線段的旋轉角集合，是方格中線段對應向量，表示變形前線段，是V_q的線性函數，而e表示變形后線段，N_L是線段總數，j是線段索引，q(j)表示線段所在方格索引，m(j)表示線段所在組號；

步驟六、計算能量函數中的邊界約束項E_b

為使得變形后視頻每幀邊界嚴格為矩形，約束其變形后網格四個邊界上的點在圖像邊界上，其能量函數定義如下：

Eb(Vt)=Σvi∈Lxi2+Σvi∈R(xi-w)2+Σvi∈Tyi2+Σvi∈B(yi-h)2]]>

其中L/R/T/B分別表示左、右、上、下；

步驟七、計算能量函數中的特征點位移約束項E_p

首先對當前幀的前一幀提取特征點，并利用光流法得到當前幀中特征點的對應匹配點位置；然后為保持變形后視頻的時域上的連續性，減少抖動等失真現象，保持特征點在變形前后的相對位移盡可能不變，該約束項定義為：

Ep=1NpΣP||(Pt′-Pt-1′)-(Pt-Pt-1)||2]]>

其中N_p是檢測得到特征點的個數，P_t分別表示第t幀變形前后特征點坐標，P′_t-1,P_t-1則分別表示第t-1幀的相應點；

步驟八、計算能量函數中的網格點位置約束項E_v

為增強時域連續性約束效果，進一步減少不連續的失真，相鄰幀對應網格點變形后坐標應保持時域上連續，即盡可能一致，該約束項定義為：

Ev=Σv||v′t-vt-1′||2]]>

其中，v′_t-1分別表示變形后第t幀和第t-1幀的網格位置坐標；

步驟九、能量函數優化求解

將上述約束條件分別賦予權重，建立用于求解矯正后網格角點位置的能量函數,形式化表示為：

E(V^t，{θ_m^t})＝w₁E_s+w₂E_l+w₃E_p+w₄E_v+w₅E_b

由于函數中每幀計算只需前一幀的相關信息，故逐幀使用迭代求解稀疏線性方程組的方法求解該能量函數最小化問題即可，得到矯正后的網格點坐標V^t；

步驟十、圖像變形

對每幀根據矯正前的網格和矯正后的網格進行插值，即可獲得矯正后的每個視頻幀。