[發明專利]一種面向三維重建的特征點匹配方法及系統

有效

• 申請號: 202110301050.3
• 申請日: 2021-03-22
• 公開（公告）號: CN113095371B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 李勝;紀道明;陳毅松;汪國平
• 申請（專利權）人: 北京大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/80;G06V10/46;G06V10/764;G06V10/82;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

1.一種面向三維重建的特征點匹配方法，其步驟包括：

1)輸入待匹配的兩視圖圖像或者多視圖圖像；對輸入的每一圖像執行特征點檢測及語義特征提取，得到每幅圖像對應的特征描述子；

2)采用結合局部鄰域信息的匹配對篩選網絡對待配對圖像的特征點進行匹配和篩選；其中，所述匹配對篩選網絡包括multi-KNN模塊、由12個殘差神經網絡模塊依次連接構成的網絡基礎架構和輸出層，所述匹配對篩選網絡對待配對圖像的特征點進行篩選的方法為：2-1)對于輸入的兩張圖像中的N對匹配特征點的集合M＝{m₁,m₂,…,m_N}，所述multi-KNN模塊對每一對匹配特征點(x₁,y₁,x₂,y₂)，計算向量(x₁,y₁,u,v)間的歐氏距離，并利用kd樹來尋找K近鄰，其中u＝x₂-x₁,v＝y₂-y₁；(x₁,y₁)與(x₂,y₂)分別是第一幅圖像與第二幅圖像中的特征點位置；然后將不同K近鄰結果結合，得到一個特征融合向量并輸入到所述網絡基礎架構；2-2)所述網絡基礎架構根據所述特征融合向量對匹配特征點進行分類，輸出N對匹配特征點的權重向量w＝(w₁,w₂,…,w_N)，當第i對匹配點的權重w_i＝0時，代表第i對匹配點是錯誤匹配；2-3)所述輸出層根據權重向量w得到正確匹配對的集合M_inlier；

3)采用RANSAC方法對步驟2)處理后保留的匹配對進行進一步的篩選，并得到最終的匹配對。

2.如權利要求1所述的方法，其特征在于，得到所述特征描述子的方法為：

1-1)利用高斯差分金字塔從輸入圖像中檢測并提取出亞像素級別的特征點及其主方向；

1-2)訓練一個L2-Net網絡，用于將特征點所對應的局部圖像區域映射成特征向量；

1-3)采用FCN語義特征提取網絡，從輸入圖像中提取具有高層語義信息的特征向量；

1-4)將步驟1-1)所得特征向量與步驟1-3)所得特征向量進行融合，得到具備多尺度上下文信息的特征描述子。

3.如權利要求2所述的方法，其特征在于，首先建立高斯圖像金字塔并對高斯圖像金字塔上相鄰層圖像相減得到所述高斯差分金字塔；然后根據所述高斯差分金字塔上的極值位置確定特征點的位置。

4.如權利要求3所述的方法，其特征在于，確定特征點的位置的方法為：將高斯差分金字塔中每層圖像上每個像素點的值與其鄰接的像素值進行比較，得到圖像尺度空間維度和位置空間維度上的極值；然后用曲線函數對所得極值進行擬合得到特征點的位置。

5.如權利要求1所述的方法，其特征在于，訓練所述匹配對篩選網絡的損失函數為Loss＝Loss_cls+λLoss_geo；其中，為所述匹配對篩選網絡根據集合M中的匹配對以及權重向量w預測得到的本質矩陣，E為本質矩陣的真實值；S是與二元交叉熵H結合使用的Logistic函數，y_i∈{0,1}是第i匹配對的真實值標簽，α_i是用來平衡第i對匹配特征點的權值，o_i是第i對匹配特征點的分類結果。

6.如權利要求1所述的方法，其特征在于，K取值為{1,4,8,12}。