[發明專利]一種基于局部配準的圖像拼接方法

在審

• 申請號: 201611092206.7
• 申請日: 2016-12-02
• 公開（公告）號: CN106780303A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 李凱;汪洋鑫;安平;沈禮權;鄒雪妹
• 申請（專利權）人: 上海大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40
• 代理公司: 上海上大專利事務所(普通合伙)31205
• 代理人: 陸聰明

技術領域

本發明涉及一種圖像拼接方法，尤其涉及一種基于局部配準的圖像拼接方法。

背景技術

圖像拼接算法是最早研究和廣泛使用的計算機視覺技術。圖像拼接技術被廣泛于視頻防抖、視頻摘要和全景圖生成等領域。比如錄像機中的防抖功能就是通過相鄰幀之間的配準算法來實現的。如今的百度地圖上的360度無死角的街景圖和衛星地圖也都是通過圖像拼接技術來生成的。圖像拼接技術主要包括兩部分：圖像配準和圖像融合。其中圖像配準解決的是找出圖像間的重疊區域問題，是圖像拼接技術的核心和關鍵，而圖像融合技術是解決已配準的圖像的最終畫出問題，目的是消除縫合線以及光度和色度的影響。可以從這兩個步驟尋求解決圖像拼接問題的方法，但是關鍵點是圖像配準步驟，圖像融合技術只是一種輔助手段。

傳統的圖像配準方法是在由輸入圖像間匹配好的特征點估計出一個全局的二維映射，然后用這個映射對圖像進行配準。典型二維映射是投影變換，用單應性矩陣H表示。但是這類全局的投影變換對輸入圖像的場景有嚴格的要求，即輸入圖像的場景應該位于同一平面上，而且圖像間必須只發生了相機的旋轉運動，有視差的圖像是不能接受的。傳統拼接技術中對于場景的要求過于苛刻，我們日常生活中拍攝的照片經常不滿足這樣的條件，所以需要對傳統的算法進行改進，以適應各種場景的要求。

由于投影變換模型固有的缺陷，投影變換不能夠對局部的偏差進行很好的擬合，也就是說當場景中出現多個深度層時，由所有匹配特征點估計出來全局的投影變換對局部的某些特征點的擬合效果不好。近年來出現了一些隨空域變化的變換方法，例如盡可能的投影變換方法，它建立了一個新的模型對局部的匹配特征點進行了很好的擬合，克服了這個投影變換的缺陷。此類方法能較好地處理同時發生了旋轉變化和較大平移變化的圖像間的配準，能有效的在復雜場景下完成拼接，大大減小了圖像拼接對場景的限制，能處理一定視差下的圖像拼接問題，但是大視差下會失效。

現有的一些圖像拼接算法大視差下的效果很差。這是因為在大視差下，物體的空間相對位置關系發生了改變，無論怎么樣都達不到很好的全局配準。針對這個問題，有學者公開了一種結合了隨機搜索和配準質量評價的局部配準算法：視差容忍方法。這個算法并不是對整個重疊區域進行配準，而是只在重疊區域內找到一塊局部區域進行配準，最后合成為拼接結果。此方法能處理一些大視差情況下的圖像拼接問題，但是當輸入圖像中出現了大量顯著度高的圖像結構時，此方法并不能找到一塊合適的區域進行局部配準，這是由于算法中的隨機搜索算法的局限性造成的。

發明內容

本發明的目的在于克服現有技術的不足，提出一種配準區域更準確、魯棒性更好的局部配準圖像拼接方法。該方法能有效處理大視差下的圖像拼接問題。

為實現上述目的，本發明提供一種基于局部配準的圖像拼接方法。

一種基于局部配準的圖像拼接方法，包括以下步驟：

步驟1：特征點檢測與匹配：首先進行特征點檢測，提取輸入圖像I₀和I₁的特征點，并對特征點進行匹配，得到N組匹配點；

步驟2：設來自輸入圖像I₀和I₁上的匹配點集合的編號m為0；

步驟3：圖像局部配準：當前匹配點集合m即為局部區域，對這個局部區域進行配準，得到對應的3×3單應性映射矩陣H_m；

步驟4：判斷當前局部單應性映射矩陣H_m的配準誤差是否小于配準閾值，或者是否收斂，如果是，則轉向步驟6，否則轉向步驟5；

步驟5：匹配點集合調整：先利用運動矢量調整匹配點集合，再利用視差概率調整匹配點集合，得到新的匹配點集合，并把當前匹配點集合的編號m加1，轉向步驟3；

步驟6：圖像合成：根據映射矩陣H_m，計算縫隙，最后生成拼接結果。

上述步驟5所述的匹配點對集合調整方法，包括以下步驟：

步驟5-1：利用運動矢量調整匹配點對集合：

計算匹配點對集合m中每一對匹配點(f_i⁰,f_i¹)的運動矢量v：