[發明專利]一種基于點線特征快速融合的重建方法

有效

• 申請號: 201910267055.1
• 申請日: 2019-04-03
• 公開（公告）號: CN110033514B
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 張元林;趙君
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/33;G06K9/46
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

本發明公開了一種基于點線特征快速融合的重建方法，包含以下步驟。視頻預處理，將視頻截取為圖像并進行焦距提取，下采樣等預處理，以降低重建復雜度；點特征匹配，采用尺度不變特征變換進行點特征的提取和匹配；線特征由粗到細快速匹配，使用線段分割檢測器特征進行線特征的提取和描述，通過對線段描述子進行暴力匹配、運動估計、漢明距離閾值判斷和長度篩選四個步驟，獲得圖像線段特征匹配對；點線特征融合，將最終的線段特征匹配對轉換為像素點，并與已經存在的點特征像素坐標位置進行分析，刪除重復點后融合線段像素點與點特征；計算相機外姿和三維點云，使用最終圖像點線特征匹配對，計算本質矩陣，求解相機外姿，三角化求解三維點云，并利用光束平差法優化結果。

技術領域

本發明屬于計算機視覺三維重建領域，特別涉及一種基于點線特征快速融合的重建方法。

背景技術

基于稀疏點云的圖像三維重建，也稱為從運動恢復結構。傳統重建過程主要通過點特征進行相機位姿和稀疏三維點云的計算。目前其研究主要分為兩類。

一種是增量式重建。首先提取圖像點特征，通常采用尺度不變特征變換，通過圖像對之間點特征的提取和匹配，對相機外部姿態和三維點云進行求解，對結果進行最小二乘優化。

另一種是全局式重建。首先同樣是提取圖像點特征，對圖像對點特征提取和匹配，進行全局的外姿計算，其主要改進在于進行一次全局化光束平差約束以減少重建時間。但是可以看到，在特征提取匹配方面仍然是使用點特征。

在稀疏三維重建中，特征占有舉足輕重的地位，特征提取和匹配的結果直接影響到重建位姿的精度，從而影響到三維點云的準確度。但是，圖像特征除了點特征，線段特征也富含很多信息。特別是在紋理信息缺少的圖像中進行三維重建，將獲取較少數量點特征，生成三維點云數量更少，結果便不太可靠。

一般，利用平均反向投影誤差計算獲得的三維點云結果和圖像特征重投影三維點位置之間的重投影誤差，計算其準確度。

發明內容

本發明的目的是在稀疏三維重建過程中，快速提取圖像的線段特征，使點線特征聯合參與到三維重建過程中，使重建結果中具有線段信息，重建質量更加魯棒。

本發明的技術方案是這樣解決的：

一種基于點線特征快速融合的重建方法，包含以下步驟：

步驟1：視頻預處理，對視頻隔固定幀進行截取，將截取的圖像進行保存，對保存的圖像信息EXIF進行分析，提取圖像長寬像素大小、相機型號和焦距信息，對圖像像素大小進行判斷，如果圖像長和寬的乘積大于閾值，則對圖像進行下采樣，較少計算復雜度；

步驟2：點特征匹配，采用尺度不變特征變換SIFT檢測圖像點特征，對圖像進行特征點的檢測并生成特征描述子，對獲得的128維特征描述子進行L1標準化，即對128維向量每一個值都除這些向量之和，然后對每一個向量都開平方根，經過實驗，標準化后點特征能夠提升匹配準確率；

步驟3：線特征由粗到細快速匹配，首先是線特征提取，使用線段分割檢測器特征LSD對每幅圖像進行線段的檢測，檢測時分別計算兩個尺度空間的值，以提升線特征尺度不變能力，然后對線特征按照響應值高低排序，提取保存線段特征第一個尺度空間的二進制描述子；

其次是線特征由粗到細匹配，首先進行暴力匹配，對第一幅圖片的所有線段特征描述符檢索第二幅圖像描述符的漢明距離，最后返回距離最近的線段，所有距離最近的匹配對為線段特征匹配的初步結果；將所有線段的中點位置提取出來，將兩幅圖像的線段中點利用全局運動估計進行篩選，快速篩除不一致匹配對；其次，對二進制描述符匹配結果漢明距離進行判斷，排除距離過大的匹配對；最后對線段特征長度進行篩選，比較線段匹配對的像素長度，刪除不一致的線段匹配對，通過這四步，能夠準確獲得線段匹配結果。