[發明專利]基于影像變形的街景影像拼接方法及系統

有效

• 申請號: 201710044943.8
• 申請日: 2017-01-20
• 公開（公告）號: CN107067368B
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 姚劍;李禮;謝仁平;劉媛
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00
• 代理公司: 42222 武漢科皓知識產權代理事務所(特殊普通合伙)
• 代理人: 胡艷<國際申請>=<國際公布>=<進入國

1.基于影像變形的街景影像拼接方法，其特征是，包括：

S1準備待拼接影像，并構建水平方向的待拼接影像對；

對各待拼接影像對分別進行步驟S2～S4：

S2獲得待拼接影像對的重疊區域影像對，對重疊區域影像對中兩張重疊區域影像進行特征點匹配，獲得匹配特征點對集；

S3計算匹配特征點對集中各匹配特征點對的光流d(x_p)，基于各匹配特征點對的光流d(x_p)內插出待拼接影像的光流場；其中，光流(x'_q,y'_q)和(x_p,y_p)分別表示匹配特征點對中兩個匹配特征點的坐標；

S4根據光流場對待拼接影像對中兩張待拼接影像分別進行非剛體變形，具體為：

4.1將待拼接影像I非剛體變形后的影像記為I'，令I'為與待拼接影像I等大的空影像；

4.2對影像I'中各像素x＝(x,y)^T，分別進行：

計算x在待拼接影像I中對應的像素x′＝(x′,y′)^T，其中，d_x(x)和d_y(x)分別為x在x方向和y方向的光流值，將待拼接影像I中像素x′的灰度值賦給影像I'中像素x；

4.3對影像I'中所有像素x均執行子步驟4.2，即獲得非剛體變形后的影像I'；

S5對非剛體變形后的影像進行拼接，得由水平方向的待拼接影像對拼接的全景影像I^H。

2.如權利要求1所述的基于影像變形的街景影像拼接方法，其特征是：

若待拼接影像存在豎直方向影像I_N，則還包括：

執行步驟S5后，構建待拼接影像對(I^H,I_N)，對待拼接影像對(I^H,I_N)執行步驟S2～S5。

3.如權利要求1所述的基于影像變形的街景影像拼接方法，其特征是：

步驟S1進一步包括子步驟：

1.1判斷所有待拼接影像是否均校正至同一坐標系，若沒有，則將所有待拼接影像校正至同一坐標系，然后執行子步驟1.2；若有，直接執行子步驟1.2；

1.2求待拼接影像的有效區域，并生成Mask圖；

1.3根據Mask圖判斷待拼接影像的類型，所述的類型包括水平方向影像和豎直方向影像；

1.4針對水平方向的待拼接影像，根據Mask圖計算待拼接影像間的重疊區域；

1.5根據子步驟1.4所得重疊區域獲得水平方向的待拼接影像間的重疊關系，根據重疊關系構建水平方向的待拼接影像對。

4.如權利要求1所述的基于影像變形的街景影像拼接方法，其特征是：

步驟S2進一步包括子步驟：

對各待拼接影像對分別進行：

2.1構建待拼接影像對的重疊區域的最大外包矩形，并獲得重疊區域影像對；

2.2分別提取重疊區域影像對中兩張重疊區域影像的特征點，獲得特征點集和

2.3對特征點集和進行匹配，獲得初始匹配特征點對集M_initial；

2.4以匹配特征點對的局部運動方向具有一致性為約束，剔除M_initial中的誤匹配特征點對。

5.如權利要求4所述的基于影像變形的街景影像拼接方法，其特征是：

子步驟2.2中，采用surf、Harris、Moravec或SIFT算子提取特征點。