[發明專利]基于影像變形的街景影像拼接方法及系統

有效

• 申請號: 201710044943.8
• 申請日: 2017-01-20
• 公開（公告）號: CN107067368B
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 姚劍;李禮;謝仁平;劉媛
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00
• 代理公司: 42222 武漢科皓知識產權代理事務所(特殊普通合伙)
• 代理人: 胡艷<國際申請>=<國際公布>=<進入國

本發明公開了一種基于影像變形的街景影像拼接方法，包括步驟：S1準備待拼接影像，并構建水平方向的待拼接影像對；S2獲得待拼接影像對的重疊區域影像對，對重疊區域影像對中兩張重疊區域影像進行特征點匹配，獲得匹配特征點對集；S3計算匹配特征點對集中各匹配特征點對的光流，基于各匹配特征點對的光流內插出待拼接影像的光流場；S4根據光流場對待拼接影像對中兩張待拼接影像分別進行非剛體變形；S5對非剛體變形后的影像進行拼接，得由水平方向的待拼接影像對拼接的全景影像。本發明可避免影像間較大的幾何位錯所造成的影響，從而能生產高精度和高質量的街景影像。

技術領域

本發明屬于數字影像處理技術領域，特別是涉及一種基于影像變形的街景影像拼接方法及系統。

背景技術

街景地圖是電子地圖中最為常用的一種地圖，由于其可提供街景豐富的紋理信息，給人以身臨其境的體驗，能夠滿足了人民“足不出戶而知天下”的美好愿望。街景地圖的核心技術之一在于制作高質量的全景影像，而全景影像的制作需要將多張影像拼接在一起，從而得到360°的全景影像。

通常而言，街景影像拼接包括以下四個步驟：影像校正、勻光勻色、最優拼接線尋找以及影像融合。其中影像校正的目的在于按照一定的模型，如球面投影模型，將采集的魚眼影像校正至同一坐標系。勻光勻色的目的在于消除由拍攝角度、光照條件、曝光設置等原因引起的影像間的色差。最優拼接線尋找的目的在于找到一條最優的拼接線，避免穿過諸如房屋，車輛及行人等明顯目標，從而避免拼接縫及“鬼影”的形成。雖然勻光勻色在很大程度上已經消除了影像間的色差，但是并不能做到完全消除，在拼接線周邊，還是存在一定的色差，因此需要再采用影像融合沿拼接線對兩張影像進行融合，從而得到最后的視覺效果良好的全景影像。

勻光勻色和影像融合可以很好的消除影像間的色差，但是并不能消除影像間的幾何錯位。最優拼接線尋找可以在一定程度上克服幾何錯位帶來的影響，但是當影像間幾何錯位較大的時候，最優拼接線也不能克服該問題。最終的全景影像中也會存在較多的拼接縫，從而影響全景影像的質量。然而，街景全景影像通常采用視角更大的魚眼相機進行拍攝，但是由于相機中心不一致，且場景深度不一致，校準至同一坐標系的全景影像間必然存在較大的幾何錯位。而這些幾何錯位的存在，將會嚴重影響最后拼接好的全景影像的質量。此外，由于這些幾何變形在每個位置的分布不一致，常用的剛體變換模型并不能模擬其幾何變形。

發明內容

針對現有技術存在的問題，本發明提供了一種基于影像變形的街景影像拼接方法及系統，該方法及系統可避免較大的幾何位錯的影響。

本發明思路為：對校正至同一坐標系的街景影像，先采用基于密集光流場的非剛體變換模型消除影像間的幾何錯位，再采用傳統的勻光勻色、最優拼接線尋找和影像融合進行街景影像的拼接，從而避免較大的幾何錯位對拼接后影像質量的影響。

本發明的技術方案為：

一、一種基于影像變形的街景影像拼接方法，包括步驟：

S1準備待拼接影像，并構建水平方向的待拼接影像對；

對各待拼接影像對分別進行步驟S2～S4：

S2獲得待拼接影像對的重疊區域影像對，對重疊區域影像對中兩張重疊區域影像進行特征點匹配，獲得匹配特征點對集；

S3計算匹配特征點對集中各匹配特征點對的光流d(x_p)，基于各匹配特征點對的光流d(x_p)內插出待拼接影像的光流場；其中，光流(x'_q,y'_q)和(x_p,y_p)分別表示匹配特征點對中兩個匹配特征點的坐標；

S4根據光流場對待拼接影像對中兩張待拼接影像分別進行非剛體變形，具體為：

4.1將待拼接影像I非剛體變形后的影像記為I'，令I'為與待拼接影像I等大的空影像；