[發明專利]基于仿射變換的立體視頻匹配方法

無效

• 申請號: 201010594217.1
• 申請日: 2010-12-18
• 公開（公告）號: CN102026013A
• 公開（公告）日: 2011-04-20
• 發明（設計）人: 杜歆;張飛;陳國赟
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T7/20
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林懷禹

技術領域

本發明涉及一種立體視頻匹配的方法，特別是涉及一種基于仿射變換的立體視頻匹配方法。

背景技術

立體匹配方法是計算機視覺中的研究熱點，其產生的視差圖在三維重建、視頻視點合成、圖像分層、圖像渲染等方面有廣泛的應用價值。尤其是當前3D電影的興起和迅速發展，標志著能夠有效改善用戶真實性體驗的三維立體顯示時代的到來。跟傳統的平面顯示相比，三維立體顯示可以讓用戶有身臨其境的感覺，增強了場景的渲染力、生動性和刺激感，如3D足球播放技術，讓用戶仿佛有置身現場的感覺，并且可以從各個角度觀看全場。

然而要得到良好的三維立體顯示的效果，需要解決很多問題：數據傳送量增大、觀看視點少、個體用戶的體驗要求等等。如果傳送多個視點的視頻，會極大地增加數據傳送量，對帶寬是一種挑戰，因此可以選擇傳送少量視點和視點視差圖的方式來減少數據量，然后在終端用“視點圖＋視差圖”的方式生成新的視點，這樣可以同時解決數據量增大和視點少的問題。各個用戶對三維場景感知的要求會有差別，同時觀看的距離、屏幕大小的區別也會對場景的顯示深度有影響，因此在實現三維顯示過程中，應該容許用戶交互地根據個人對立體感知的要求，調節場景的顯示深度。而調節場景顯示深度的實質是調節視頻之間的視差，從而得到視頻的視差圖是必備的步驟。有了視頻視差圖后，根據用戶的調節，動態地以一定規則更改視差值，再重新生成新的視頻源。從這些技術上的要求可以看出，視頻視差圖的求取是三維立體顯示的一個關鍵步驟。

視頻的立體匹配方法大致可以分成兩種方向：一是將視頻的每一幀視為純粹的圖像，用圖像的立體匹配方法得到每一幀的視差圖；另一種是充分利用視頻幀之間的關系，在圖像立體匹配的基礎之上加入視頻幀信息和約束。本發明提出了基于視頻幀之間的仿射變換關系的立體匹配方法，利用連續幀的約束，對當前幀中的靜止場景用前一幀的視差值作為初始值，并更新當前幀的匹配代價值，然后再用圖像立體匹配方案得到視差圖。

發明內容

本發明的目的在于提出一種基于仿射變換的立體視頻匹配方法，充分利用了視頻幀之間的仿射變換關系，用前一幀的視差信息約束當前幀的視差值，不但提高了求取當前幀初始視差圖的準確度，還有效地保證了視差圖序列在時域上的穩定性。

本發明采用的技術方案是：

利用立體視頻前后幀之間的時域信息，計算仿射變換矩陣，在立體視頻當前幀的單幀圖像立體匹配方法基礎上，增加視頻幀之間的仿射變換約束；下列步驟中，步驟4）用立體視頻的左路當前幀和立體視頻的右路當前幀進行匹配得到初始匹配代價，其余步驟分別對立體視頻的左路視頻和立體視頻的右路視頻分別單獨相同的實施步驟如下：?

1）提取當前幀和前一幀的圖像特征點，并進行圖像特征點匹配，求取仿射變換矩陣；

2）根據步驟1）得到的仿射變換矩陣，將當前幀圖像中的像素點投影到前一幀，并對非整數坐標的投影像素點進行插值運算，得到當前幀圖像的像素點在前一幀圖像上的投影點；

3）根據步驟2）得到的投影點，計算當前幀圖像的像素點和其在前一幀圖像上的投影點的像素值的差，以檢測當前幀圖像中的靜止區域像素點；

4）計算當前幀圖像的初始匹配代價；

5）計算更新匹配代價的權重系數，包括前后幀圖像視差的整體相似度和相鄰視差值的權重遞變函數值；

6）根據步驟4）中當前幀圖像的初始匹配代價，以及步驟5）中的權重系數，更新當前幀靜止區域像素點的匹配代價，對運動區域像素點的匹配代價則保持不變；

7）計算左路當前幀圖像視差圖和右路當前幀圖像視差圖。

2、所述的根據圖像特征點匹配，求取仿射變換矩陣，包括以下步驟：

2.1）用Harris角點檢測方法，分別提取當前幀???????????????????????????????????????????????和前一幀的圖像特征點；

2.2）對提取的兩個圖像特征點進行匹配；

2.3）根據匹配結果，計算當前幀到前一幀的仿射變換矩陣。

3、所述的將當前幀中的像素點投影到前一幀，并對非整數坐標的投影像素點進行插值運算，是指當前幀中的像素坐標按照所求取的仿射變換矩陣，投影到前一幀中坐標為處，若像素坐標不是整數，則用中相鄰像素進行雙線性插值，得到該點的像素值。