[發(fā)明專利]一種基于2D視覺圖像的三維重建方法

有效

• 申請?zhí)枺?/td>: 202010768584.2
• 申請日: 2020-08-03
• 公開（公告）號: CN111899345B
• 公開（公告）日: 2023-09-01
• 發(fā)明（設計）人: 余世杰;賀驥;楊輝;費越;桂仲成
• 申請（專利權）人: 成都圭目機器人有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V10/44;G06V10/75
• 代理公司: 成都佳劃信知識產權代理有限公司 51266
• 代理人: 史姣姣

本發(fā)明公開了一種基于2D視覺圖像的三維重建方法，包括：利用相機采集序列圖像；對任一圖像進行特征點提取，并求得任一圖像對應的描述子；根據圖像的描述子之間的漢明距離并確定匹配對；根據圖像的匹配對上的特征點求得圖像幀的旋轉R和平移t；根據相鄰幀的圖像的旋轉R和平移t，求得匹配對的重投影誤差，并優(yōu)化旋轉R和平移t；將優(yōu)化后的旋轉R和平移t作為輸入，并提取圖像幀邊緣點并最優(yōu)化光度誤差，從而匹配邊緣點；對匹配上的邊緣點進行三角測量從而得到稠密三維點云，以實現三維重建。通過上述方案，本發(fā)明具有邏輯簡單、重建可靠、適應能力強等優(yōu)點，在圖像處理技術領域具有很高的實用價值和推廣價值。

技術領域

本發(fā)明涉及圖像處理技術領域，尤其是一種基于2D視覺圖像的三維重建方法。

背景技術

三維重建是計算機視覺領域的核心研究內容之一，輸入為視覺圖像或激光點云等傳感器信息，其通過獲取這些連續(xù)圖像或激光點云的潛在信息，根據算法模型，最終輸出目標區(qū)域的三維地圖和傳感器行徑軌跡。

目前，現有技術中已經存在很多有效的三維重建算法，但大部分是通過激光雷達和深度相機獲取的，但由于傳感器體積和成本的限制，很多情況下只能使用普通的2D相機獲取圖像信息，而現有的基于2D視覺圖像的三維重建算法得到的點云地圖都過于稀疏或適應性不強導致地圖不連續(xù)。因此，如何將使用2D視覺圖像生成稠密的三維地圖且對環(huán)境的適應性較強仍是一大研究挑戰(zhàn)，其研究成果也具有很高的應用價值。

現有技術中也有三維重建相關算法，如專利申請?zhí)枮椤?01711283596.0”、名稱為“一種面向深度相機的高精度三維重建方法和系統(tǒng)”的中國發(fā)明專利，其根據深度相機從不同角度獲取真實場景的多對圖像，每對圖像包括彩色圖像和深度圖像；根據特征點檢測算法獲取各彩色圖像上的二維特征點和特征描述子，計算任意兩個彩色圖像分別對應的特征描述子之間的置信度，獲取特征匹配關系；根據各特征匹配關系及對應的深度圖像，獲取對應的三維圖像，將二維特征點反投影到相機坐標系下，獲取三維圖像上的三維點；根據二維特征點和三維點計算攝像機的絕對姿態(tài)；根據攝像機的絕對姿態(tài)，將三維點映射到所述相機坐標系下，獲取場景的初始三維模型。其輸入為深度相機，其缺陷是輸入必須使用深度相機，若使用普通2D視覺圖像則無法完成三維重建。而深度相機成本較普通2D相機貴很多，且對室外場景適應性不強。

另外，如專利申請?zhí)枴?01910267055.1”、名稱為“一種基于點線特征快速融合的重建方法”的中國發(fā)明專利，其包含以下步驟。視頻預處理，將視頻截取為圖像并進行焦距提取，下采樣等預處理，以降低重建復雜度；點特征匹配，采用尺度不變特征變換進行點特征的提取和匹配；線特征由粗到細快速匹配，使用線段分割檢測器特征進行線特征的提取和描述，通過對線段描述子進行暴力匹配、運動估計、漢明距離閾值判斷和長度篩選四個步驟，獲得圖像線段特征匹配對；點線特征融合，將最終的線段特征匹配對轉換為像素點，并與已經存在的點特征像素坐標位置進行分析，刪除重復點后融合線段像素點與點特征；計算相機外姿和三維點云，使用最終圖像點線特征匹配對，計算本質矩陣，求解相機外姿，三角化求解三維點云，并利用光束平差法優(yōu)化結果。其使用的仍然是特征點法為主，產生的是稀疏重建，其缺陷在于只能得到稀疏的點云，特征點和線段的特征的個數較少，重建不準確。

不僅如此，如專利申請?zhí)枴?01910799527.8”、名稱為“基于室內移動目標背景修復的三維重建方法”的中國發(fā)明專利，其具體步驟為：(1)獲取待重建室內場景的RGB圖像序列和深度圖像序列；(2)獲取每幅RGB圖像的目標區(qū)域；(3)對RGB圖像序列中相鄰幀進行特征匹配；(4)計算拍攝相鄰幀時深度相機位姿變換的旋轉矩陣和平移向量；(5)確定每幅RGB圖像中的移動目標所在區(qū)域；(6)對每幅RGB圖像的移動目標區(qū)域中的移動目標所遮擋的靜態(tài)背景進行修復；(7)獲取三維重建結果。其主要針對的是移動背景的修復；其缺陷在于基于現有的三維重建方法上對于動態(tài)的物體進行修復，而不是一個可靠的三維重建方法，文中采用的仍是現有的只能得到稀疏點云的特征點法。

因此，急需要提出一種邏輯簡單、重建可靠的基于2D視覺圖像的三維重建方法。

發(fā)明內容