[發明專利]一種快速稠密的圖像匹配方法及系統

在審

• 申請號: 202110452168.6
• 申請日: 2021-04-26
• 公開（公告）號: CN113033708A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 鄭健青;黃保茹
• 申請（專利權）人: 鄭健青
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04
• 代理公司: 上海京滬專利代理事務所(普通合伙) 31235
• 代理人: 沈美英

本發明涉及一種快速稠密的圖像匹配方法及系統，特征在于通過指定的若干搜索區域的局部匹配，并利用低分辨率下得到的匹配結果對被匹配圖像進行重采樣，從而能夠通過滑動窗口限定后續更高分辨率匹配過程的搜索范圍，實現高分辨率圖像之間快速稠密的全局匹配，同時也降低了匹配過程中的時間、空間復雜度；另外通過引入基于坐標表達的匹配結果，在建立匹配關系的同時也保留圖像本身拓撲信息，使匹配過程更具連續性和可靠的物理意義，能夠利用先驗信息如參數化坐標變換對匹配過程正則化精細化；并且該方法中能夠加入可訓練參數實現自適應優化和拓展成為泛用性模型。

技術領域

本發明涉及圖像數據采集技術領域，特別是一種快速稠密的圖像匹配方法及系統。

背景技術

近年來，科技水平日益提高，形成了全球自動化的格局，隨之而來的人工智能技術蓬勃發展，其主要目的是令機器聯合計算機像人類一樣感知、理解與行動。視覺感知作為最主要的感知技術之一，在此次人工智能熱潮下占據著舉足輕重的地位，因而推動著計算機視覺技術迅猛發展。同時，如何理解多個視覺目標之間的區別與聯系，并根據特定的需求對感知的信息作相應的處理已然成為整個計算機視覺領域的研究熱點之一，而圖像匹配作為其中的一個基礎而關鍵的任務，連接著具有相同或相似屬性的兩個圖像目標，是低層視覺通往高層視覺的紐帶，是實現信息識別與整合以及從低維圖像恢復高維結構的有效途徑。

圖像匹配是一項基礎的視覺處理技術，對圖像的每個像素或區域進行特征提取，并查找對應關系，是眾多視覺任務的首要步驟，如圖像檢索(ImageRetrival)、圖像拼接(Image Mosaic)、多模圖像融合(Multimodal Image Fusion)、圖像配準(ImageRegistration)、相機位姿估計(Camera Pose Estimation)、視覺里程計(VisualOdometry)、三維重建(3DReconstruction)、運動恢復結構(Structure from Motion)、即時定位與地圖構建(Simultaneous Localization and Mapping)等。據美國自動成像協會(Automated Imaging Association)統計，40％以上的視覺感知應用依賴于圖像特征匹配的精度與效率，包括計算機視覺、模式識別、遙感、軍事安防、醫學診斷與手術導航等各個領域。

圖像匹配精度匹配導致的誤差會在后續處理環節中逐漸累積從而嚴重制約最終視覺任務的有效實施，因此在許多基于匹配的精準估計應用上有著極高的要求。通常模板圖像通常來自不同時間、不同視角和不同傳感器，成像條件多樣性不可避免地造成了圖像的匹配難度，況且圖像本身的局部形變或畸變，以及圖像之間的復雜變換等因素同樣對特征匹配問題造成了嚴重阻礙。除此之外，如何減少因噪聲、畸變、重復圖像內容以及遮擋等問題造成的錯誤匹配也是特征匹配中亟需解決的問題。另一方面，圖像匹配的稠密度會直接影響后續視覺任務，如基于立體匹配的三維重建中的結構細節，然而圖像特征匹配問題本質上是一個復雜組合優化難題，稠密特征點的匹配過程通常需要特征數量的平方計算復雜度，況且離群點和噪聲的引入將大大增加問題的求解難度，因而在建模求解過程中，如何減少解的搜索空間，降低問題的計算復雜度也是特征匹配的重要難題。

圖像匹配方法包括圖像特征提取及特征匹配，其中傳統特征匹配方法如隨機樣本一致性(RanSaC)算法需要迭代運算，而在稠密特征點情況時會嚴重增加時間成本，因此通常針對稀疏特征點進行匹配。深度學習通?？梢詫崿F快速的特征點匹配，但是受限于高分辨率大范圍搜索空間所帶來的計算成本，現有的深度學習方法也無法實現存在大幅度或非參數化坐標變換的兩個圖像之間的快速稠密匹配。

一些匹配方法利用參數化坐標變換、觀測物體、場景、拍攝過程的先驗條件來限制搜索范圍，如專利CN102654902利用不同尺度圖像金字塔由上向下傳遞的平移旋轉信息實現快速匹配；如2018年ECCV會議所收錄的MVSNet采用的代價體(Cost Volume)實現立體匹配，不僅需要基于單應性的相機標定還限制了視差范圍；如專利CN201180057099.3同樣基于立體視圖投影中的單應性關系來限制搜索范圍。但是這些先驗信息的獲取同樣增加了成本或限制了使用場景。