[發(fā)明專利]基于影像變形的街景影像拼接方法及系統(tǒng)有效
| 申請?zhí)枺?/td> | 201710044943.8 | 申請日： | 2017-01-20 |
| 公開（公告）號： | CN107067368B | 公開（公告）日： | 2019-11-26 |
| 發(fā)明（設(shè)計）人： | 姚劍;李禮;謝仁平;劉媛 | 申請（專利權(quán)）人： | 武漢大學 |
| 主分類號： | G06T3/40 | 分類號： | G06T3/40;G06T3/00 |
| 代理公司： | 42222 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) | 代理人： | 胡艷<國際申請>=<國際公布>=<進入國 |
| 地址： | 430072 湖*** | 國省代碼： | 湖北;42 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 基于 影像 變形 街景 拼接 方法 系統(tǒng) | ||
本發(fā)明公開了一種基于影像變形的街景影像拼接方法，包括步驟：S1準備待拼接影像，并構(gòu)建水平方向的待拼接影像對；S2獲得待拼接影像對的重疊區(qū)域影像對，對重疊區(qū)域影像對中兩張重疊區(qū)域影像進行特征點匹配，獲得匹配特征點對集；S3計算匹配特征點對集中各匹配特征點對的光流，基于各匹配特征點對的光流內(nèi)插出待拼接影像的光流場；S4根據(jù)光流場對待拼接影像對中兩張待拼接影像分別進行非剛體變形；S5對非剛體變形后的影像進行拼接，得由水平方向的待拼接影像對拼接的全景影像。本發(fā)明可避免影像間較大的幾何位錯所造成的影響，從而能生產(chǎn)高精度和高質(zhì)量的街景影像。
技術(shù)領(lǐng)域
本發(fā)明屬于數(shù)字影像處理技術(shù)領(lǐng)域，特別是涉及一種基于影像變形的街景影像拼接方法及系統(tǒng)。
背景技術(shù)
街景地圖是電子地圖中最為常用的一種地圖，由于其可提供街景豐富的紋理信息，給人以身臨其境的體驗，能夠滿足了人民“足不出戶而知天下”的美好愿望。街景地圖的核心技術(shù)之一在于制作高質(zhì)量的全景影像，而全景影像的制作需要將多張影像拼接在一起，從而得到360°的全景影像。
通常而言，街景影像拼接包括以下四個步驟：影像校正、勻光勻色、最優(yōu)拼接線尋找以及影像融合。其中影像校正的目的在于按照一定的模型，如球面投影模型，將采集的魚眼影像校正至同一坐標系。勻光勻色的目的在于消除由拍攝角度、光照條件、曝光設(shè)置等原因引起的影像間的色差。最優(yōu)拼接線尋找的目的在于找到一條最優(yōu)的拼接線，避免穿過諸如房屋，車輛及行人等明顯目標，從而避免拼接縫及“鬼影”的形成。雖然勻光勻色在很大程度上已經(jīng)消除了影像間的色差，但是并不能做到完全消除，在拼接線周邊，還是存在一定的色差，因此需要再采用影像融合沿拼接線對兩張影像進行融合，從而得到最后的視覺效果良好的全景影像。
勻光勻色和影像融合可以很好的消除影像間的色差，但是并不能消除影像間的幾何錯位。最優(yōu)拼接線尋找可以在一定程度上克服幾何錯位帶來的影響，但是當影像間幾何錯位較大的時候，最優(yōu)拼接線也不能克服該問題。最終的全景影像中也會存在較多的拼接縫，從而影響全景影像的質(zhì)量。然而，街景全景影像通常采用視角更大的魚眼相機進行拍攝，但是由于相機中心不一致，且場景深度不一致，校準至同一坐標系的全景影像間必然存在較大的幾何錯位。而這些幾何錯位的存在，將會嚴重影響最后拼接好的全景影像的質(zhì)量。此外，由于這些幾何變形在每個位置的分布不一致，常用的剛體變換模型并不能模擬其幾何變形。
發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種基于影像變形的街景影像拼接方法及系統(tǒng)，該方法及系統(tǒng)可避免較大的幾何位錯的影響。
本發(fā)明思路為：對校正至同一坐標系的街景影像，先采用基于密集光流場的非剛體變換模型消除影像間的幾何錯位，再采用傳統(tǒng)的勻光勻色、最優(yōu)拼接線尋找和影像融合進行街景影像的拼接，從而避免較大的幾何錯位對拼接后影像質(zhì)量的影響。
本發(fā)明的技術(shù)方案為：
一、一種基于影像變形的街景影像拼接方法，包括步驟：
S1準備待拼接影像，并構(gòu)建水平方向的待拼接影像對；
對各待拼接影像對分別進行步驟S2～S4：
S2獲得待拼接影像對的重疊區(qū)域影像對，對重疊區(qū)域影像對中兩張重疊區(qū)域影像進行特征點匹配，獲得匹配特征點對集；
S3計算匹配特征點對集中各匹配特征點對的光流d(xp)，基于各匹配特征點對的光流d(xp)內(nèi)插出待拼接影像的光流場；其中，光流(x'q,y'q)和(xp,yp)分別表示匹配特征點對中兩個匹配特征點的坐標；
S4根據(jù)光流場對待拼接影像對中兩張待拼接影像分別進行非剛體變形，具體為：
4.1將待拼接影像I非剛體變形后的影像記為I'，令I(lǐng)'為與待拼接影像I等大的空影像；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于武漢大學，未經(jīng)武漢大學許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710044943.8/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
