[發明專利]魚眼鏡頭全景圖像拼接方法

有效

• 申請號: 201610101946.6
• 申請日: 2016-02-24
• 公開（公告）號: CN105678729B
• 公開（公告）日: 2018-03-09
• 發明（設計）人: 段夢凡
• 申請（專利權）人: 段夢凡
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40
• 代理公司: 北京輕創知識產權代理有限公司11212
• 代理人: 楊立

技術領域

本發明涉及圖像拼接技術領域，特別是一種魚眼鏡頭全景圖像拼接方法。

背景技術

目前的魚眼圖像的實時拼接技術非常少且單一，一般魚眼圖像的全景圖像的實時拼接分兩步，首先求出全景圖像與各鏡頭單元圖像的參數映射表，然后在線的調用參數映射表對鏡頭單元圖像實時一幀一幀的進行全景圖像拼接。最關鍵的就是第一步，目前解決方案主要有兩種：

第一種是把魚眼圖像的徑向畸變校正參數和圖像元(即單元鏡頭)的位姿參數作為一體，整體用最優化技術進行參數估計。鏡頭畸變參數校正最常用的技術是多項式擬合，單元鏡頭的位姿估計參數是3x3維矩陣，9個參數,這兩部分的參數的關系是復合函數，通常用RANSAC或遺傳算法、免疫算法、蟻群算法等迭代優化技術求解，這種復合最優化技術對參數的初始值依賴性很強，而且彼此的干擾性也很強，很難達到全局最優，甚至局部最優也無法找到，即使找到的局部最優解，這種比較差的局部最優解也使圖像拼接誤差增大，因此全景圖像重疊區域中的重影、錯位問題，邊緣區域變形嚴重、模糊及圖像區域空白等問題都比較嚴重。

第二種是用一個常規鏡頭的投影變換和多項式畸變校正技術用校正模板圖像對鏡頭畸變參數進行畸變校正，生成一組中間校正后的2D圖像，然后用2D圖像配準技術對校正后的圖像元進行2D配準。該方案在最后的一個拼接重疊區域會把誤差放大，導致全景球面圖像和等柱面全景圖像中會有一個拼接誤差嚴重的區域，在該區域重影、錯位問題，邊緣區域變形嚴重、模糊及圖像區域空白等問題比較嚴重。

綜上，現有技術魚眼鏡頭圖像拼接技術拼接出來的全景圖像拼接誤差比較大，如在拼接重疊區域中重影、錯位嚴重，在圖像的邊緣區域變形嚴重，甚至在全景等柱面展開圖的上下邊緣中存在一定面積的空白區域。

發明內容

本發明的目的是提供一種魚眼鏡頭全景圖像拼接方法，以改進提高魚眼全景圖像拼接重疊區域中的拼接誤差，進而解決全景拼接圖像重疊區域中的重影錯位問題，邊緣區域變形嚴重、模糊及圖像區域空白等問題。

為了解決上述技術問題，本發明提供一種魚眼鏡頭全景圖像拼接方法，包括：

步驟一、通過多項式擬合模型將多個魚眼鏡頭拍攝的單元圖像分別映射到三維球面上，并計算求解出所述多項式擬合模型的系數參數進而確定所述多項式擬合模型；

步驟二、將待配準的多個所述單元圖像中的每幅圖像重疊區域中的匹配特征點通過確定后的所述多項式擬合模型分別映射到三維單位球面上，在三維單位球面上對多個所述單元圖像進行計算求出對應鏡頭成像的配準模型，根據所述配準模型在三維球面上將多個所述單元圖像配準形成球面全景圖像；

步驟三、把所述球面全景圖像按等柱面方式展開成柱面全景圖像，對所述柱面全景圖像進行處理，建立所述柱面全景圖像中每個像素點與多個魚眼鏡頭拍攝的單元圖像中的每個像素點的對應位置關系的參數映射表；

步驟四、讀取多個魚眼鏡頭拍攝的魚眼圖像，調用所述參數映射表將多個魚眼鏡頭拍攝的魚眼圖像融合成全景圖像。

步驟一中計算求解出所述多項式擬合模型的系數參數進而確定所述多項式擬合模型，具體為：

取空間同一條直線映射到魚眼鏡頭的元圖像上的直線上的至少三個點，然后用所述多項式擬合模型求出所述至少三個點到三維單位球面上的映射點，再把所有映射點在三維單位球面擬合成一個大圓，求出各個映射點到擬合的大圓的球面距離，求出他們的平方和；用同種方法取空間中多條直線計算，所取的多條直線在魚眼圖像中分布均勻，如果分布不均可以多拍幾張彌補。建立以下函數：Dist＝S1+...+SN；其中S1＝d11^2+...+d1n1^2，...，SN＝dN1^2+...+dNnN^2；以函數Dist最小值為目標，求出所述多項式擬合模型的系數參數。

在三維單位球面上對多個所述單元圖像進行計算求出對應鏡頭成像的配準模型，根據所述配準模型在三維球面上將多個所述單元圖像配準形成球面全景圖像，具體為：

設多個魚眼鏡頭的單元圖像重疊區域中匹配的特征點為(x,y)，則通過確定后的所述多項式擬合模型映射到三維單位球面上的點的四元坐標為[x,y,z,1]；以多個魚眼鏡頭中的一個魚眼鏡頭為參考鏡頭，用特征點對求解另外的魚眼鏡頭相對于參考鏡頭的配準模型：

[X,Y,Z,H]’＝Modle*[x,y,z,1]’，其中，Modle是16個自由度的矩陣。該配準模型演化出以下三個方程：