[發明專利]基于仿射變換的立體視頻匹配方法

無效

• 申請號: 201010594217.1
• 申請日: 2010-12-18
• 公開（公告）號: CN102026013A
• 公開（公告）日: 2011-04-20
• 發明（設計）人: 杜歆;張飛;陳國赟
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T7/20
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林懷禹

1.一種基于仿射變換的立體視頻匹配方法，其特征在于：利用立體視頻前后幀之間的時域信息，計算仿射變換矩陣，在立體視頻當前幀的單幀圖像立體匹配方法基礎上，增加視頻幀之間的仿射變換約束；下列步驟中，步驟4）用立體視頻的左路視頻當前幀和立體視頻的右路視頻當前幀進行匹配得到初始匹配代價，其余步驟對立體視頻的左路視頻和立體視頻的右路視頻分別單獨地實施相同的步驟，實施步驟如下：?

1）提取當前幀和前一幀的圖像特征點，并進行圖像特征點匹配，求取仿射變換矩陣；

2）根據步驟1）得到的仿射變換矩陣，將當前幀圖像中的像素點投影到前一幀，并對非整數坐標的投影像素點進行插值運算，得到當前幀圖像的像素點在前一幀圖像上的投影點；

3）根據步驟2）得到的投影點，計算當前幀圖像的像素點和其在前一幀圖像上的投影點的像素值的差，以檢測當前幀圖像中的靜止區域像素點；

4）計算當前幀圖像的初始匹配代價；

5）計算更新匹配代價的權重系數，包括前后幀圖像視差的整體相似度和相鄰視差值的權重遞變函數值；

6）根據步驟4）中當前幀圖像的初始匹配代價，以及步驟5）中的權重系數，更新當前幀靜止區域像素點的匹配代價，對運動區域像素點的匹配代價則保持不變；

7）計算當前幀圖像的視差圖。

2.根據權利要求1所述的一種基于仿射變換的立體視頻匹配方法，其特征在于：所述的根據圖像特征點匹配，求取仿射變換矩陣，包括以下步驟：

2.1）用Harris角點檢測方法，分別提取當前幀????????????????????????????????????????????????和前一幀的圖像特征點；

2.2）對提取的兩個圖像特征點進行匹配；

2.3）根據匹配結果，計算當前幀到前一幀的仿射變換矩陣。

3.根據權利要求1所述的一種基于仿射變換的立體視頻匹配方法，其特征在于：所述的將當前幀中的像素點投影到前一幀，并對非整數坐標的投影像素點進行插值運算，是指當前幀中的像素坐標按照所求取的仿射變換矩陣，投影到前一幀中坐標為處，若像素坐標不是整數，則用中相鄰像素進行雙線性插值，得到該點的像素值。

4.根據權利要求1所述的一種基于仿射變換的立體視頻匹配方法，其特征在于：所述的計算當前幀圖像的像素點和其在前一幀圖像上的投影點的像素值的差，以檢測當前幀圖像中的靜止區域像素點，是指對當前幀圖像坐標為的像素值和經過仿射變換投影到前一幀坐標為的像素值，在一定窗口內求SAD值（絕對差值和）：，其中表示SAD值；若小于一個特定的閾值，則判定當前幀坐標為的像素點為靜止區域點；反之，則為運動區域點。

5.根據權利要求1所述的一種基于仿射變換的立體視頻匹配方法，其特征在于，所述的計算當前幀圖像的初始匹配代價，是指用基于局部窗口匹配的SAD方法對立體視頻當前幀的左圖和右圖進行匹配，分別得到當前幀左圖的的初始匹配代價和當前幀右圖的初始匹配代價。

6.根據權利要求1所述的一種基于仿射變換的立體視頻匹配方法，其特征在于：所述的更新權重系數中的前后幀圖像視差的整體相似度系數，包括以下步驟：

1）對立體視頻的當前幀的左右圖像提取Harris特征點并進行匹配；

2）對立體視頻的前一幀的左右圖像提取Harris特征點并進行匹配；

3）用直方圖分別統計當前幀匹配特征點的視差以及前一幀匹配特征點的視差，然后得到視差直方圖的相似度系數，其中為直方圖維度，為預設的一常量，和分別為當前幀和前一幀匹配點的歸一化視差直方圖分布。

7.根據權利要求1所述的一種基于仿射變換的立體視頻匹配方法，其特征在于：所述的更新權重系數中的相鄰視差值的權重遞變函數值，是指用權重遞變函數計算當前幀圖像中坐標為處的視差在其通過仿射變換投影到前一幀圖像中坐標為處的視差的一個變化區間內的各個候選視差的權重系數。