[發明專利]平行式相機陣列的未標定多視點圖像校正方法

有效

• 申請號: 201010545107.6
• 申請日: 2010-11-16
• 公開（公告）號: CN102065313A
• 公開（公告）日: 2011-05-18
• 發明（設計）人: 張洋;張兆楊;安平;王賀;劉利亮
• 申請（專利權）人: 上海大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T7/00
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

技術領域

本發明涉及一種多視點圖像校正方法，特別是一種平行式相機陣列的未標定多視點圖像校正方法。

背景技術

三維電視是繼數字高清晰度電視之后的下一代電視技術，它以其獨特的立體感、縱深感及漫游特性受到越來越多的關注。多相機實時采集立體顯示系統是三維電視的一個重要應用，它將多個相機實時采集的視頻傳送至服務器，在服務器中對多視點圖像進行處理，合成立體圖像后顯示在立體顯示器上。對于平行式相機陣列，由于不可避免的操作誤差及設備精度限制，僅僅采用手工調整相機位置的方法不能完全模擬理想平行式相機陣列的擺放。使用這種手工放置相機的方式拍攝的多視點圖像，對應特征點在垂直方向上未對齊，在水平方向上視差不均勻，從而導致合成的立體圖像中物體出現明顯的閃爍現象，嚴重影響了實時三維立體視頻的觀看效果。因此，如何在立體合成之前對多視點圖像進行有效的校正操作，使各個視點圖像間垂直對齊且水平視差均勻成為實時三維立體顯示系統需要解決的關鍵問題。

針對上述問題，國外Yun-Suk?Kang等人等學者作過相關研究，他們區別于常規的雙目立體圖像校正方法，提出了多目圖像聯合校正的概念，在對平行相機陣列進行標定的基礎上，確定了一條公共基線并沿此基線方向將各視點圖像投影至同一校正平面上。但是上述方法對多相機標定參數精度要求較高且某些特定場景無法完場多相機標定，很難滿足所有應用的要求。

發明內容

本發明的目的是提供一種平行式相機的未標定多視點圖像校正方法。對比于之前的其他方法，本方法無需標定平行式相機陣列，提取各視點圖像之間的匹配特征點，利用這些匹配信息計算各視點校正矩陣，通過對各視點圖像的射影變換完成多視點未標定校正的自動化過程。

為達到上述目的，本發明的構思是：

首先提取各視點圖像特征點并設計適用于實時立體顯示系統的特征點匹配方法，根據已提取出的匹配特征點信息設計未標定多視點圖像校正算法得到各視點對應校正矩陣，利用校正矩陣對相應圖像射影變換完成校正過程。

根據上述構思，本發明的技術方案是：

一種平行式相機陣列的未標定多視點圖像校正方法。其特征在于首先提取平行式相機陣列各視點圖像的特征點，設計適合實時立體顯示系統實際需求的特征匹配方法，然后根據已提取出的匹配特征點信息計算兩兩相鄰未標定立體圖像對的校正矩陣，并設計將所有視點圖像投影至同一公共校正平面上的投影方法，最后根據公共校正平面上各視點間距調整水平視差至均勻，平移相應圖像完成多視點校正。其具體操作步驟是：

(1)提取并匹配各視點圖像特征點：從多個視點的圖像中檢測足量待匹配SIFT特征點，匹配兩兩相鄰圖像對中的對應特征點；

(2)提高特征點匹配精度：根據實時三維立體顯示系統應用需求，設計恰當的匹配精細化方法剔除錯配，選取各立體對中適量的均勻分布匹配點；

(3)校正未標定立體圖像對：根據已選定的精細化后匹配點信息對兩兩相鄰的圖像對進行未標定校正；

(4)投影多視點圖像至公共校正平面：根據計算出的各個立體圖像對校正矩陣，確定將多視點圖像投影至公共校正平面的方法；

(5)調整視點間視差：根據公共校正平面上各視點圖像距離，水平平移圖像使視點間視差均勻，合成立體圖像。

上述步驟（1）中的提取并匹配各視點圖像特征點，是指從多個視點的圖像中檢測足量待匹配SIFT特征點，匹配兩兩相鄰圖像對中的對應特征點，其具體步驟是：

(a)?建立各視點圖像在不同尺度下的尺度空間，檢測尺度空間內極值，確定特征點位置及所在尺度；

(b)根據特征點鄰域像素的梯度方向分布特性確定每個特征點指定方向參數；

(c)?根據每個特征點的位置、尺度及方向特性信息生成其對應的128維SIFT特征向量；

(d)以特征向量之間的歐式距離為相似性判定度量，在右視圖特征點集合中查找與左視圖特征點相匹配的點。特征點a,?b間的歐式距離表示如下：

。

?上述步驟（2）中的提高特征點匹配精度，即根據實時三維立體顯示系統應用需求，設計恰當的匹配精細化方法剔除錯配，選取各立體對中適量的均勻分布匹配點，其具體步驟是：

(a)對各立體對中已提取出的匹配特征點使用RANSAC精細化方法，剔除嚴重失配的點對；

(b)???將每個立體對中的圖像分別沿橫軸與縱軸均勻四等分為4×4共16個子塊，根據匹配特征點均勻分布的要求，在左圖像各子塊中隨機選取與右圖像相匹配的特定數量特征點,得到一組匹配特征點集合；