[發明專利]3D視頻中左右視點間幀同步性的檢測與保證方法

有效

• 申請號: 201310330508.3
• 申請日: 2013-07-31
• 公開（公告）號: CN103402109A
• 公開（公告）日: 2013-11-20
• 發明（設計）人: 周軍;高晉楷;張艷芳
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/04;G06T7/00
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

1.一種3D視頻中左右視點間成像同步性的檢測與保證方法，其特征在于包括如下步驟：

第一步，針對需要檢測的3D視頻，對于左右視點圖像，獲得匹配信息：

1），對于待檢測3D視頻，首先選取左路視頻中某一幀為參考幀；

2），針對左路視頻中選定的參考幀圖像，進行前景和背景區域的分割；

3），選取右路原始視頻中與左路參考幀對應的幀及其前后幾幀作為右路同步檢測幀；

4），將左路視頻參考幀中的前景區域與右路視頻各同步檢測幀進行匹配，獲得與前景區域相關的匹配信息，將左路視頻中的背景區域進行與右路視頻各同步檢測幀進行相同的處理，得相應的僅與背景區域相關的匹配信息；

第二步，利用左右圖像間前景與背景間的匹配信息，計算相應的旋轉矩陣參數，進而獲得相應的同步性評價函數值，為選取最佳匹配幀提供判斷依據：

1），利用前景區域的匹配信息，根據對極幾何中的相關理論，提出求取旋轉矩陣參數的代價函數；

2），運用Levenberg-Marquardt算法進行代價函數的優化，找到關于前景和背景區域的旋轉矩陣參數；

3），制定利用旋轉矩陣參數來判斷最優幀的同步性評價函數，將求得的參數帶入，找到最佳匹配幀，糾正待檢3D視頻中對應幀不同步性的問題。

2.根據權利要求1所述的3D視頻中左右視點間成像同步性的檢測與保證方法，其特征在于：所述方法具體操作步驟如下：

1），對于待檢測的3D視頻序列，選取左路視頻中的某一幀為參考幀，記為L_x，對其前景區域和背景區域進行分割；針對左路視頻中的參考幀L_x,將其前景區域和背景區域分別記為L_fx和L_bx；

2），對于L_x，從右路原始視頻中選出與L_x對應的幀R_x及該幀時間上連續的前后各I幀R_x+i,(i＝-I,…,I)，形成同步檢測幀窗；利用SIFT特征點匹配算法，分別對L_fx與R_x+i進行匹配，得到一系列匹配點對，這些匹配點僅僅出現在前景區域中；同理，用L_bx與R_x+i進行匹配后，匹配點只能出現在背景區域中，這樣就分別得到了與前景和背景相關的匹配信息；

3），利用對極幾何中的基礎矩陣F與旋轉矩陣的關系式：

F=Kr-TR[Cr]×Kl-1]]>

其中K_l、K_r為理想情況下的左右攝像機內參矩陣，R為兩部攝像機攝影平面之間的旋轉關系矩陣，C_r為右攝像機中心相對于左攝像機中心的坐標，關系式中代表矩陣K_r的轉置后求逆的矩陣；

設左幀中的某個SIFT檢出點為x_j，j為SIFT檢測到的特征點標號，其在右幀中的對應點為x′_j，在理想情況下，左圖中的點x_j應該在極線l_j＝F^Tx′_j上，右圖中的點x′_j應該在極線l′_j＝Fx_j上，所以利用Levenberg-Marquardt算法，選取以總對稱轉移誤差作為代價函數F_e：

Fe=Σjd(xj′,Fxj)2+d(xj,FTxj′)2]]>

其中，d(·)表示計算點到直線間的距離；將基礎矩陣F與旋轉矩陣R的算式帶入到求取代價函數F_e的公式中，通過使代價函數最小化，得到旋轉矩陣R中參數的取值；針對一個3×3的旋轉矩陣，將其中所包含的3個旋轉角度分離出來，分別記為α、β和γ，通過旋轉角β和γ的旋轉，使左右攝像機的成像平面處在同一個平面上，進一步通過旋轉角α的旋轉，確保左右幀中的極線保持平行；

4），用于測試的3D序列均是背景靜止的，而前景為運動目標；針對同步檢測窗中各幀，計算得到如下同步性評價函數F_i：

Fi=(αfi-α‾b)2+(βfi-β‾b)2+(γfi-γ‾b)2,(i=-I,...,I)]]>

其中，和為通過SIFT前景匹配獲得的旋轉角，而和為通過SIFT背景匹配獲得的旋轉角，作為參考旋轉角度；鑒于測試3D序列背景靜止的特點，通過計算多組背景旋轉角度，然后取平均的方法，來保證背景提取的旋轉參數的準確性，即：

α‾b=12I+1Σi=-IIαbiβ‾b=12I+1Σi=-IIβbiγ‾b=12I+1Σi=-IIγbi]]>

在上式中，I的大小決定了選取待匹配幀的范圍，采用以原始對應幀為中心，對稱地進行選取，形成同步檢測幀窗；找出能夠使同步性評價函數F_i達到最小值的幀，即認為此幀為與左路視頻中參考幀L_x在時域上是同步性最好的幀；當評價函數F_i達到最小時，說明左幀L_x與右路視頻各同步檢測幀中R_x+i的前景與背景的對極關系一致性最好，即時域上這左右兩幀最為匹配，找到了最優幀位置，此3D視頻片斷中左右視點的同步關系就得到了，最終，改善此類3D視頻的觀看舒適性。