[發明專利]實時全景拼接方法和裝置

有效

• 申請號: 201610417580.3
• 申請日: 2016-06-14
• 公開（公告）號: CN106023070B
• 公開（公告）日: 2017-10-03
• 發明（設計）人: 賈順;劉靖康
• 申請（專利權）人: 北京嵐鋒創視網絡科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40
• 代理公司: 北京市中倫律師事務所11410
• 代理人: 張思悅

技術領域

本發明涉及一種全景拼接方法和裝置，具體而言，涉及一種實時全景拼接方法和裝置。

背景技術

魚眼鏡頭是一種超廣角鏡頭，一般的定義是視角達到180度的鏡頭就稱之為魚眼鏡頭。全景圖像是指利用專業全景圖像制作工具(例如panatools)對采用魚眼鏡頭拍攝的圖片進行拼接而形成的360度的圖像。

圖1示出了魚眼鏡頭成像原理圖。如圖1所示，入射光線經過鏡頭折射后最終成像在膠片上，其中經過光軸的光線不會發生折射直接成像在圖像的中心，而對于入射角為θ的入射光線，如果沒有發生折射則沿虛線成像在膠片上，其距離膠片中心的距離為r_Ref，r_Ref＝f×tan(θ)，f為透鏡焦點與膠片之間的距離。實際情況是，入射角度為θ的入射光線經過透鏡會發生折射，折射后的光線映射在膠片上，其與膠片中心的距離為r_Real，r_Real與θ之間的關系用函數r_Real＝F(θ)表示，該函數稱為鏡頭的映射曲線。鏡頭的映射參數可以通過廠家獲得。

表1為從鏡頭廠商直接獲得的某魚眼鏡頭的一部分映射參數。

表1：鏡頭映射參數表

表1只給出了一部分入射角度的映射參數，完整的映射參數表包含范圍為每間隔0.5度的入射角度的映射參數，fov為鏡頭的視場角。根據映射參數表繪制散點圖，并通過線性回歸的方法獲得一條擬合曲線。如表1得到擬合曲線為：

r_Real＝F(θ)＝1.0×10^-9θ⁴-6.0×10^-7θ³+8.5×10^-6θ²+0.0183θ+0.0007(公式1)

把擬合出來的曲線計算的結果和實際結果對比，得到誤差：

誤差＝(r_Real擬合-r_Real)/r_Real×100％(公式2)

得到的擬合曲線誤差在0.5％以內。當然，可以通過增加多項式的階來獲取誤差更小的擬合曲線。

需要一種實時拼接方法和裝置，用于對利用雙魚眼鏡頭拍攝的視頻進行實時處理，以便以360度視角呈現視頻。

發明內容

本發明的一個實施方式提供了一種實時全景拼接方法，其中，所述方法包括以下步驟：

步驟1：獲取多個魚眼鏡頭的映射參數和鏡頭視場角；

步驟2：根據魚眼鏡頭的映射參數獲取擬合映射曲線；

步驟3：獲取魚眼圖中第一魚眼圓和第二魚眼圓的圓心坐標和半徑；

步驟4：創建用于魚眼圖矯正圖的第一球面模型和第二球面模型；

步驟5：基于鏡頭視場角、擬合映射曲線、魚眼圓的圓心坐標和半徑將第一魚眼圓和第二魚眼圓中的點映射到矯正圖的相應的第一球面模型和第二球面模型上，使得第二球面模型繞Z軸旋轉180度，并使得第一球面模型和第二球面模型融合形成360度的球面模型；以及

步驟6：將使用視頻解碼器對視頻解碼后每一幅圖片繪制到360度的球面模型上，以便實時觀看全景視頻。

根據本發明的上述一個實施方式提供的實時全景拼接方法，其中在上述步驟1中，魚眼鏡頭映射參數和鏡頭視場角通過魚眼鏡頭供應商獲得。

根據本發明的上述一個實施方式提供的實時全景拼接方法，其中在上述步驟2中，根據鏡頭映射參數獲取擬合映射曲線是指利用映射參數結合公式1:

r_Real＝F(θ)＝1.0×10^-9θ⁴-6.0×10^-7θ³+8.5×10^-6θ²+0.0183θ+0.0007獲得擬合映射曲線，其中θ為入射角，r_Real為角度為θ的入射光線經過透鏡折射后映射在膠片時與膠片中心的距離。

根據本發明的上述一個實施方式提供的實時全景拼接方法，其中在上述步驟3中，魚眼圖包括第一魚眼圓和第二魚眼圓，第一魚眼圓的半徑為R，第一魚眼圓的圓心坐標為(x₀，y₀)，第二魚眼圓的半徑為R₁，第二魚眼圓的圓心坐標為(x₁，y₁)。