[發明專利]一種獲取全景圖像的方法及裝置

在審

• 申請號: 201611264200.3
• 申請日: 2016-12-30
• 公開（公告）號: CN106651767A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 龐濤
• 申請（專利權）人: 北京星辰美豆文化傳播有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/33
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 黃志華

技術領域

本發明涉及圖像處理領域，尤其涉及一種獲取全景圖像的方法及裝置。

背景技術

魚眼鏡頭是模擬水下魚類仰視水面效果的一種超廣角鏡頭，其典型視場角為180°，還有的超過180°、大于220°，甚至達到270°。魚眼鏡頭的好處很多：視角大，可容納場景多，且可以適應狹小空間拍攝，因此在虛實景技術、機器人導航、視覺監控等許多計算機視覺領域中被廣泛應用。

由于魚眼鏡頭拍攝的圖像視角較大，因此拼接成360°的全景圖像只需要魚眼鏡頭拍攝2-3張圖像即可，因此，在全景內容制作，例如全景虛擬現實VR(Virtual Reality)視頻制作中，魚眼鏡頭得到了越來越多的使用。但是，采用魚眼鏡頭拍攝的圖像由于視角超廣，因此其桶形彎曲畸變非常大，畫面周邊的成像呈現嚴重變形，直線彎曲，只有鏡頭中心部分的內容可以保持原來的狀態。所以這類魚眼圖像雖能夠包含較多的場景信息，但卻不能顯示重要的細節問題，因此使用這些畸變魚眼圖像進行全景圖像拼接時需要進行畸變校正處理。

目前在利用魚眼鏡頭圖像進行全景圖像拼接時，圖片處理軟件一般都是在平面坐標系下根據待拼接圖像估計魚眼鏡頭參數，然后建立模型進行矯正拼接獲取平面的全景圖像，最后把拼接后的平面的全景圖像進行球面映射即將平面的全景圖像貼在球上進行全景顯示。由于相機鏡頭參數估計的不準確性，導致平面坐標系下存在的畸形很難被矯正，從而后面拼接融合后的圖像有接縫拼不上的情況，拼接精度較低，拼接的圖像效果會受到很大影響。

發明內容

本發明實施例提供一種獲取全景圖像的方法及裝置，用以提高魚眼鏡頭全景圖像的拼接精度。

本發明方法包括一種獲取全景圖像的方法，該方法包括：

利用雙魚眼鏡頭拍攝得到兩幅魚眼圖像，其中，所述雙魚眼鏡頭為背對設置的兩個鏡頭，且兩個鏡頭的視場角之和大于等于360度；

將所述兩幅魚眼圖像從平面坐標系映射到各自的球面模型中；

從映射后的每個魚眼圖像中提取特征點，并將提取到的特征點進行匹配得到特征點匹配對；

利用所述特征點匹配對確定映射后的兩幅魚眼圖像之間的變換矩陣；

利用所述變換矩陣將映射后的兩幅魚眼圖像轉換到同一個球面模型中；

將同一個球面模型中的兩幅魚眼圖像進行拼接，獲取拼接后的球面全景圖像。

進一步地，所述雙魚眼鏡頭包括第一魚眼鏡頭和第二魚眼鏡頭；

所述兩幅魚眼圖像包括所述第一魚眼鏡頭拍攝得到的第一魚眼圖像，所述第二魚眼鏡頭拍攝得到的第二魚眼圖像；

將所述兩幅魚眼圖像從平面坐標系映射到各自的球面模型中之前，還包括：

利用種子生長法對所述兩幅魚眼圖像進行掃描，確定所述第一魚眼圖像和所述第二魚眼圖像的有效圓形區域；

所述將所述兩幅魚眼圖像從平面坐標系映射到各自的球面模型中，包括：

根據平面坐標系與球面坐標系之間的映射關系，將所述第一魚眼圖像的有效圓形區域從平面坐標系映射到第一球面模型中，并所述第二魚眼圖像的有效圓形區域從平面坐標系映射到第二球面模型中。

進一步地，所述從映射后的每個魚眼圖像中提取特征點，包括：

構建Hessian矩陣，基于Hessian矩陣行列式的判別式det(H)取值的符號確定出H(f(x,y))處的極值點和極值點的坐標，其中，(x,y)為魚眼圖像的像素點的坐標；

所述將提取到的特征點進行匹配得到特征點匹配對，包括：

利用最近鄰匹配法判定當一對極值點的歐氏距離小于設定閾值時，將該對極值點作為一組特征點匹配對。

進一步地，所述利用所述特征點匹配對確定映射后的兩幅魚眼圖像之間的變換矩陣，包括：

根據確定出來的多個特征點匹配對的坐標，按照公式一進行求解，得到所述兩幅魚眼圖像之間的變換矩陣；

所述公式一為：

其中，(x,y,z)、(x’,y’,z’)為每組特征點匹配對的球面坐標，為待求解的變換矩陣。

進一步地，所述將同一個球面模型中的兩幅魚眼圖像進行拼接，獲取拼接后的球面全景圖像，包括：

用K-D樹搜索同一個球面模型中的兩幅魚眼圖像的最近鄰和次近鄰距離，并將搜素得到的距離作為權重，采用加權平均的方法對所述兩幅圖像的特征點進行配準，從而實現對兩幅魚眼圖像進行拼接，得到拼接后的球面全景圖像。