[發明專利]圖像匹配及拼接方法、裝置、系統、可讀介質

有效

• 申請號: 201910811279.4
• 申請日: 2017-12-22
• 公開（公告）號: CN110490271B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 王森;劉陽;羅小偉;林福輝
• 申請（專利權）人: 展訊通信（上海）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T3/40
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李笑笑

一種圖像匹配及拼接方法、裝置、系統、可讀介質，所述圖像匹配方法包括：對待檢測的圖像進行分塊，獲取M×N個圖像分塊；針對每個圖像分塊，基于特征點算法求取Top N個特征點；針對每個所求取的特征點對應的描述子，依次與其他待檢測的圖像中的其他特征點對應的描述子進行一一配對，獲取互相匹配的特征點集合；針對互相匹配的特征點集合，基于運動的一致性計算匹配外點和匹配內點，并剔除誤匹配形成的匹配外點，保留匹配內點對應的圖像分塊；基于匹配內點對應的圖像分塊，求解單應矩陣，獲取前后兩個圖像分塊的相對位置。應用上述方法，可以在不影響匹配性能的基礎上，有效降低特征匹配的計算復雜度，處理速度快，支持實時處理拍攝圖像。

技術領域

本發明實施例涉及圖像處理領域，尤其涉及一種圖像匹配及拼接方法、裝置、系統、可讀介質。

背景技術

隨著手機相機應用的普及，對手機相機的拍照效果需求也越來越高。由于手機拍照時，相機的視場角(Field of View，FOV)較小，只能拍攝下場景的一部分，不能對感興趣的場景進行完整的記錄。為了解決這個問題，提出了全景圖像拼接(Panorama Stitching)算法，即手機相機按照一定順序拍攝并相互有重疊區域的圖像序列，然后根據全景圖像拼接算法拼接出一幅具有高FOV的全景圖像。

全景照片拼接算法包含兩個步驟：圖像匹配(Image Alignment)和圖像融合(Image Blending)。在圖像匹配步驟中，需要求出相鄰圖像間準確的位置關系，包括：基于模板匹配(Template Matching)和基于特征匹配(Feature Matching)兩類算法。基于模板匹配的算法，將一幅圖像中的一部分(或者整個圖像)作為模板，在另一幅圖像中搜索匹配的部分，計算復雜度高，運行速度慢。基于特征的匹配算法，在圖像中根據一定的特征檢測(Feature Detection)算法，如加速分段測試提取特征(Features From AcceleratedSegment Test，FAST)算法，提取特征點，然后對特征點及周圍像素進行描述(FeatureDescription)，提取描述子，最后進行描述子匹配。在圖像融合步驟中，需要將圖像的重疊區域進行處理，使其平滑，沒有瑕疵，可以分為拼接邊緣優化(Seam Finding)階段和圖像合成(Image Blending)階段。

在目前的產品方案中，基于模板匹配的算法，一方面需要進行大量的像素運算，運算量很大，對于手機等移動設備的內存訪問也提出較高需求，另一方面，容易落入局部最小值中，使最終匹配結果較差。基于特征的匹配算法，大多數是為拼接普通照片而設計，即對同一場景，用相機進行拍照，然后后期進行拼接操作，在實際應用中，為了滿足不同光照，旋轉，尺度以及較小的重疊區域等一系列問題，雖然性能較優，但是計算復雜度非常高。

發明內容

本發明實施例解決的技術問題是如何在不影響匹配性能的基礎上，有效降低特征匹配算法的計算復雜度。

為解決上述技術問題，本發明實施例提供一種圖像匹配方法，包括：對待檢測的圖像進行分塊，獲取M×N個圖像分塊，其中M，N為自然數；針對每個圖像分塊，求取Top N個特征點，其中T為待檢測圖像對應的特征點的總個數；針對每個所求取的特征點對應的描述子，依次與其他待檢測的圖像中的其他特征點對應的描述子進行一一配對，獲取互相匹配的特征點集合；針對互相匹配的特征點集合，基于運動的一致性計算匹配外點和匹配內點，并剔除誤匹配形成的匹配外點，保留匹配內點對應的圖像分塊，所述匹配內點對應的圖像分塊即為匹配的圖像分塊；基于匹配內點對應的圖像分塊，求解單應矩陣，獲取前后兩個圖像分塊的相對位置。

可選地，所述求取Top N個特征點包括：基于特征點算法求取Top N個特征點。

可選地，所述其他特征點為：其他待檢測的圖像中部分區域內的特征點。

可選地，所述部分區域在其他待檢測的圖像中的相對位置與所求取的特征點及其相鄰的特征點在其對應的圖像中的相對位置一致。

可選地，所述描述子為：二元魯棒獨立基本特征描述子。