[發明專利]平行式相機陣列的未標定多視點圖像校正方法

有效

• 申請號: 201010545107.6
• 申請日: 2010-11-16
• 公開（公告）號: CN102065313A
• 公開（公告）日: 2011-05-18
• 發明（設計）人: 張洋;張兆楊;安平;王賀;劉利亮
• 申請（專利權）人: 上海大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;G06T7/00
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

1.一種平行式相機陣列的未標定多視點圖像校正方法，其特征在于首先提取平行式相機陣列各視點圖像的特征點，設計適合實時立體顯示系統實際需求的特征匹配方法，然后根據已提取出的匹配特征點信息計算兩兩相鄰未標定立體圖像對的校正矩陣，并設計將所有視點圖像投影至同一公共校正平面上的投影方法，最后根據公共校正平面上各視點間距調整水平視差至均勻，平移相應圖像完成多視點校正；其具體操作步驟是：

（1）提取并匹配各視點圖像特征點：從多個視點的圖像中檢測足量待匹配SIFT特征點，以特征向量歐式距離為判定依據匹配兩兩相鄰圖像對中的對應特征點；

（2）提高特征點匹配精度：根據實時三維立體顯示系統應用需求，設計恰當的匹配精細化方法剔除錯配，選取各立體對中適量的均勻分布匹配點；

（3）校正未標定立體圖像對：根據已選定的精細化后匹配點信息對兩兩相鄰的圖像對進行未標定校正；

（4）投影多視點圖像至公共校正平面：根據計算出的各個立體圖像對校正矩陣，確定將多視點圖像投影至公共校正平面的方法；

（5）調整視點間視差：根據公共校正平面上各視點圖像距離，水平平移圖像使視點間視差均勻，合成立體圖像。

2.根據權利要求1所述的平行式相機陣列的未標定多視點圖像校正方法，其特征在于所述步驟（1）中的從多個視點的圖像中檢測足量待匹配SIFT特征點，匹配兩兩相鄰圖像對中的對應特征點，其具體步驟如下：

(a)建立各視點圖像在不同尺度下的尺度空間，檢測尺度空間內極值，確定特征點位置及所在尺度；

(b)根據特征點鄰域像素的梯度方向分布特性確定每個特征點指定方向參數；

（c）根據每個特征點的位置、尺度及方向特性信息生成其對應的128維SIFT特征向量；

（d）以特征向量之間的歐式距離為相似性判定度量，在右視圖特征點集合中查找與左視圖特征點相匹配的點；特征點a,?b間的歐式距離表示如下：

。

3.根據權利要求1所述的平行式相機陣列的未標定多視點圖像校正方法，其特征在于所述步驟（2）中的提高特征點匹配精度，根據實時三維立體顯示系統應用需求，設計恰當的匹配精細化方法剔除錯配，選取各立體對中適量的均勻分布匹配點，其具體步驟如下：

(a)對各立體對中已提取出的匹配特征點使用RANSAC精細化方法，剔除嚴重失配的點對；

(b)將每個立體對中的圖像分別沿橫軸與縱軸均勻四等分為4×4共16個子塊，根據匹配特征點均勻分布的要求，在左圖像各子塊中隨機選取與右圖像相匹配的特定數量特征點,得到一組匹配特征點集合；

(c)根據分塊選取的匹配特征點集合計算對應的校正后Sampson誤差——幾何重投影誤差的一階近似；

(d)循環步驟?(b)?和?(c)的隨即分塊選取過程N次，N的大小是校正精度與計算時間的折中，對于每個立體圖像對選取Sampson誤差最小的匹配特征點集合作為后續立體對校正的輸入信息。

4.根據權利要求1所述的平行式相機陣列的未標定多視點圖像校正方法，其特征在于所述步驟（3）中的校正未標定立體圖像對，根據已選定的精細化后匹配點信息對兩兩相鄰的圖像對進行未標定校正，其具體步驟如下：

(a)根據已精細化匹配特征點位置信息，建立未標定立體圖像對校正過程的數學模型：

其中，和分別表示左右視圖的校正矩陣，和分別表示第個特征點位置，為校正后立體圖像對基本矩陣；

(b)將抽象數學模型轉變為以Sampson誤差形式表示的系統方程組：

其中，表示第對匹配特征點的Sampson誤差，表示校正前原始圖像對的基本矩陣；?

(c)參數化左右校正矩陣，使用LM參數估計算法求得滿足系統方程組的最優化未知參數估值并帶入以下公式中得到立體對校正矩陣：

其中，，分別表示左右視圖校正矩陣，，分別表示左右視圖旋轉矩陣，，分別表示校正后左右相機內參，，分別表示校正前左右相機內參；

(d)對各立體圖像對依次進行上述校正過程的步驟(a)至步驟(c)，求得相應的左右視圖校正矩陣。