[發明專利]一種面向三維重建的特征點匹配方法及系統

有效

• 申請號: 202110301050.3
• 申請日: 2021-03-22
• 公開（公告）號: CN113095371B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 李勝;紀道明;陳毅松;汪國平
• 申請（專利權）人: 北京大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/80;G06V10/46;G06V10/764;G06V10/82;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

本發明公開了一種面向三維重建的特征點匹配方法及系統。本發明的特征點匹配方法步驟包括：1)輸入待匹配的兩視圖圖像或者多視圖圖像；對輸入的每一圖像執行特征點檢測及語義特征提取，得到每幅圖像對應的特征描述子；2)采用結合局部鄰域信息的匹配對篩選網絡對待配對圖像的特征點進行匹配和篩選；3)采用RANSAC方法對步驟2)處理后保留的匹配對進行進一步的篩選，并得到最終的匹配對。本發明能夠提升三維重建出的三維模型/場景的精度和質量。

技術領域

本發明屬于計算機圖形圖像處理、虛擬現實、軟件技術領域，涉及一種面向三維重建的特征點匹配方法及系統。

背景技術

特征點匹配是基于多圖像的三維重建系統中的重要環節，特征點匹配的質量對系統后續其他環節影響很大。面對不斷增長的大規模三維場景的重建應用需求以及日益復雜的三維重建場景，對于特征點匹配質量的要求也越來越高，因此設計更加魯棒的特征點方法服務于三維重建系統十分有意義。

在三維重建應用中，為了得到三維場景的完整信息，經常需要對不同視角的圖像進行特征點匹配。當出現視角變化較大的情況(也叫寬基線問題)時，SIFT、SURF等特征點往往表現欠佳，因為這類特征點在設計時沒有考慮仿射變換不變性的問題。除了常見的視角變化、光照變化以外，還有很多困難場景的例子：城市高層建筑重復出現的紋理結構(比如窗戶屋頂)、季節變換帶來的地面景觀巨大變化(比如雪前雪后)、圖像中后期加入的噪聲干擾(比如日期水印)、圖像中移動的物體對背景的遮擋干擾(比如行人車輛)等。還有一些場景綜合了以上多種情形，比如利用航拍圖像進行三維重建時為了保證模型的完整度，需要利用地面視角拍攝的圖像對航拍模型進行細節補充。而當對航拍-地面圖像進行特征點匹配時，除了有較大的視角差異以外，可能同時存在光照差異、尺度差異等情況，因此很難找到合適的方法實現目標。此外，誤匹配篩選是特征點匹配最后環節，對于匹配準確性有重大的影響。

經典的特征點匹配流程包括：在原始圖像上檢測特征點、生成特征描述子(向量)、特征點匹配(對特征描述向量進行匹配)、對錯誤匹配對進行篩選(RANSAC)。

在特征點匹配環節，傳統的方法通常需要對錯誤匹配進行篩除。在經典流程中使用SIFT等特征具備良好的旋轉不變性、尺度不變性，同時在匹配過程中采用ratio test和RANSAC很好地篩掉了錯誤的匹配點。盡管經典流程已經適用于大部分常見的場景，但是還遠遠談不上完美，對于現實中很多復雜的場景(光照條件變化、視角差異較大、重復紋理等)依然無能為力。在復雜場景下的特征點匹配結果通常包含大量的錯誤匹配，需要更加魯棒的匹配對篩選方法。RANSAC作為一個標準方法，也有了許多的改進，DSAC(E.Brachmann,A.Krull,S.Nowozin,J.Shotton,F.Michel,S.Gumhold,and C.Rother.DSAC:Differentiable RANSAC for Camera Localization.arXiv,2016.)是RANSAC的可微版本，但是不太適合兩視圖場景。(Kwang Moo Yi，Eduard Trulls，Yuki Ono，Vincent Lepetit，Mathieu Salzmann，and Pascal Fua.Learning to find good correspondences.InProceedings of the IEEE Conference on Computer Vision and PatternRecognition，2018.)首次提出了用深度神經網絡進行匹配對篩選，通過和RANSAC結合，盡管特征點匹配的準確率可以得到很大提升，但是依然存在準確性不足的問題。

發明內容

針對現有技術中存在的技術問題，本發明的目的在于提供一種面向三維重建的特征點匹配方法及系統。

本發明的技術方案為：

一種面向三維重建的特征點匹配方法，其步驟包括：

1)輸入待匹配的兩視圖圖像或者多視圖圖像；對輸入的每一圖像執行特征點檢測及語義特征提取，得到每幅圖像對應的特征描述子；